大資料又稱黑暗資料，是指人腦無法處理的海量資料聚合成的資訊資產，在民生、IT、金融、農業、通訊等方面都有廣泛應用。未來5年大資料行業呈井噴趨勢，人才需求火爆，2018年大資料人才缺口更是高達900萬。以後想要做大資料相關的工作，需要學習哪些技術知識?

羅馬不是一天建成的，大資料工程師也不是短時間能鍛造的。想要成為大資料開發工程師，也要看你是否骨骼驚奇，天賦過人!在學習大資料之前，你還需要有一定的基礎!大資料學習資料分享群119599574

一、學習大資料需要的基礎

1、java SE、EE(SSM)

90%的大資料框架都是Java寫的

2、MySQL

SQL on Hadoop

3、Linux

大資料的框架安裝在Linux作業系統上

在有了上面的技術基礎支撐之後，便可以開始我們的大資料開發工程師的鍛造之旅了，可以根據以下三個大的方面進行學習，當然了，中間需要穿插一些專案練習，將理論和實戰相關聯才能成長的很快!

二、大資料技術需要學什麼

1、大資料離線分析

一般處理T+1資料(T：可能是1天、一週、一個月、一年)

a、Hadoop ：一般不選用新版本，踩坑難解決

(common、HDES、MapReduce、YARN)

環境搭建、處理資料的思想

b、Hive：大資料的資料倉庫

經過寫SQL對資料進行操作，類似於MySQL資料庫的sql

c、HBase：基於HDFS的NOSQL資料庫

面向列儲存

d、協作框架：

sqoop(橋樑：HDFS《==》RDBMS)

flume：蒐集日誌檔案中的資訊

e、排程框架

anzkaban

瞭解：crotab(Linux自帶)

zeus(Alibaba)

Oozie(cloudera)

f、前沿框架擴充套件：

kylin、impala、ElasticSearch(ES)

2、大資料實時分析

以spark框架為主

Scala：OOP(面向物件程式設計)+FP(函式是程式設計)

sparkCore：類比MapReduce

sparkSQL：類比hive

sparkStreaming：實時資料處理

kafka：訊息佇列

前沿框架擴充套件：flink

阿里巴巴：blink

3、大資料機器學習

spark MLlib：機器學習庫

pyspark程式設計：Python和spark的結合

以上就是大資料的學習路線，有興趣的朋友，也可以瞭解下人工智慧和物聯網。

在不久的將來，多智時代一定會徹底走入我們的生活，有興趣入行未來前沿產業的朋友，可以收藏多智時代，及時獲取人工智慧、大資料、雲端計算和物聯網的前沿資訊和基礎知識，讓我們一起攜手，引領人工智慧的未來