大資料（big data），指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產。

什麼是大資料

大資料技術的戰略意義不在於掌握龐大的資料資訊，而在於對這些含有意義的資料進行專業化處理。換而言之，如果把大資料比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對資料的“加工能力”，通過“加工”實現資料的“增值”。

隨著雲時代的來臨，大資料（Big data）也吸引了越來越多的關注。分析師團隊認為，大資料（Big data）通常用來形容一個公司創造的大量非結構化資料和半結構化資料，這些資料在下載到關係型資料庫用於分析時會花費過多時間和金錢。大資料分析常和雲端計算聯絡到一起，因為實時的大型資料集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。

大資料的意義

現在的社會是一個高速發展的社會，科技發達，資訊流通，人們之間的交流越來越密切，生活也越來越方便，大資料就是這個高科技時代的產物。

阿里巴巴創辦人馬雲來臺演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology資料科技，顯示大資料對於阿里巴巴集團來說舉足輕重。

有人把資料比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大資料並不在“大”，而在於“有用”。價值含量、挖掘成本比數量更為重要。對於很多行業而言，如何利用這些大規模資料是贏得競爭的關鍵。

大資料的價值體現在以下幾個方面：

1)對大量消費者提供產品或服務的企業可以利用大資料進行精準營銷

2) 做小而美模式的中小微企業可以利用大資料做服務轉型

3) 面臨網際網路壓力之下必須轉型的傳統企業需要與時俱進充分利用大資料的價值

大資料就業方向

大資料主要有三個就業方向，大資料系統研發類人才、大資料應用開發類人才和大資料分析類人才。

在此三大方向中，各自的基礎崗位一般為大資料系統研發工程師、大資料應用開發工程師和資料分析師。又可分為以下十大職位：

一、ETL研發

ETL研發，主要負責將分散的、異構資料來源中的資料如關係資料、平面資料檔案等抽取到臨時中間層後進行清洗、轉換、整合，最後載入到資料倉庫或資料集市中，成為聯機分析處理、資料探勘的基礎。

二、Hadoop開發

Hadoop的核心是HDFS和MapReduce.HDFS提供了海量資料的儲存，MapReduce提供了對資料的計算。隨著資料集規模不斷增大，而傳統BI的資料處理成本過高，企業對Hadoop及相關的廉價資料處理技術如Hive、HBase、MapReduce、Pig等的需求將持續增長。

三、視覺化（前端展現）工具開發

視覺化開發就是在可視開發工具提供的圖形使用者介面上，通過操作介面元素，由可視開發工具自動生成應用軟體。還可輕鬆跨越多個資源和層次連線您的所有數 據，經過時間考驗，完全可擴充套件的，功能豐富全面的視覺化元件庫為開發人員提供了功能完整並且簡單易用的元件集合，以用來構建極其豐富的使用者介面。

四、資訊架構開發

大資料重新激發了主資料管理的熱潮。充分開發利用企業資料並支援決策需要非常專業的技能。資訊架構師必須瞭解如何定義和存檔關鍵元素，確保以最有效的方式進行資料管理和利用。資訊架構師的關鍵技能包括主資料管理、業務知識和資料建模等。

五、資料倉庫研究

資料倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大資料一體機。能夠在這些一體機上完成資料整合、管理和效能優化等工作。

六、OLAP開發

OLAP線上聯機分析開發者，負責將資料從關係型或非關係型資料來源中抽取出來建立模型，然後建立資料訪問的使用者介面，提供高效能的預定義查詢功能。

七、資料科學研究

資料科學家是分析師、藝術家的合體，需要具備多種交叉科學和商業技能。

八、資料預測（資料探勘）分析

營銷部門經常使用預測分析預測使用者行為或鎖定目標使用者。預測分析開發者有些場景看上有有些類似資料科學家，即在企業歷史資料的基礎上通過假設來測試閾值並預測未來的表現。

九、企業資料管理

企業要提高資料質量必須考慮進行資料管理，並需要為此設立資料管家職位，這一職位的人員需要能夠利用各種技術工具彙集企業周圍的大量資料，並將資料清洗 和規範化，將資料匯入資料倉庫中，成為一個可用的版本。然後，通過報表和分析技術，資料被切片、切塊，並交付給成千上萬的人。擔當資料管家的人，需要保證 市場資料的完整性，準確性，唯一性，真實性和不冗餘。

十、資料安全研究

資料安全這一職位，主要負責企業內部大型伺服器、儲存、資料安全管理工作，並對網路、資訊保安專案進行規劃、設計和實施。資料安全研究員還需要具有較強的管理經驗，具備運維管理方面的知識和能力，對企業傳統業務有較深刻的理解，才能確保企業資料安全做到一絲不漏。

大資料人才發展前景

1. 人才缺口

全球最頂尖管理諮詢公司麥肯錫(McKinsey)出具的一份詳細分析報告顯示，預計到2018年，大資料或者資料工作者的崗位需求將激增，其中大資料科學家的缺口在14萬到19萬之間，對於懂得如何利用大資料做決策的分析師和經理的崗位缺口則將達到150萬!   大家如果想了解和學習大資料技術的可以關注公眾號：大資料技術匯  每天精彩乾貨和免費學習資料分享 共有180G大資料資料  也可以加群 724693112 進行交流學習。

2. 就業薪水

根據職友集顯示，目前北京地區大資料人才的平均工資為13680,月薪在15K以上的佔41.4%。月薪6k-10k的佔52.1%。