1. 程式人生 > >Java程式設計師轉大資料職位的學習路線圖分享!

Java程式設計師轉大資料職位的學習路線圖分享!

隨著網際網路事業的蓬勃發展,程式語言越來越火爆。Java工程師收入高、業內需求量大,備受人們青睞。不過隨著大資料的爆發,很多Java工程師想抓住這一趨勢,轉型大資料方向。那麼,Java程式設計師轉大資料工程師容易嗎?該如何學習呢?

Java程式設計師轉大資料工程師有很好的基礎條件

對於Java程式設計師,大資料的主流平臺hadoop是基於Java開發的,所以Java程式設計師往大資料開發方向轉行從語言環境上更為順暢,另外很多基於大資料的應用框架也是Java的,所以在很多大資料專案裡Java語言的確是可以派上用場的。所以,Java程式設計師轉大資料工程師是具備很好的基礎條件的。

當然,hadoop核心價值在於提供了分散式檔案系統和分散式計算引擎,對於大部分公司而言,並不需要對這個引擎進行修改。這時候除了熟悉程式設計,你通常還需要學習資料處理和資料探勘的一些知識。尤其是往資料探勘工程師方向發展,則你需要掌握更多的工具和知識。

Java程式設計師轉大資料職位的學習路線圖:

第一步:分散式計算框架

掌握 hadoop和spark分散式計算框架,瞭解檔案系統、訊息佇列和Nosql資料庫,學習相關元件如hadoop、MR、spark、hive、hbase、redies、kafka等;

第二步:演算法和工具

學習瞭解各種資料探勘演算法,如分類、聚類、關聯規則、迴歸、決策樹、神經網路等,熟練掌握一門資料探勘程式設計工具:Python或者Scala。目前主流平臺和框架已經提供了演算法庫,如hadoop上的Mahout和spark上的Mllib,你也可以從學習這些介面和指令碼語言開始學習這些演算法。

第三步:數學

補充數學知識:高數、概率論和線代

第四步:專案實踐

1、開源專案:tensorflow:Google的開源庫,已經有40000多個star,非常驚人,支援移動裝置;

2、參加資料競賽:Kaggle和國內天池資料競賽

3、通過企業實習獲取專案經驗

如果你僅僅是做大資料開發和運維,則可以跳過第二步和第三步,如果你是側重於應用已有演算法進行資料探勘,那麼第三步也可以先跳過。

總結:

Java工程師可以更容易理解hadoop的框架和生態,很多大資料saas級產品也是Java開發的,因此Java基礎是轉行大資料的一個很好的起點。但大資料是一個更為寬廣的領域,具有跨界知識和能力的人才會更受企業青睞。隨著人工智慧時代的到來,大資料將迎來黃金髮展的10年,如果你已經做好準備,那麼就立即開始行動吧!