1. 程式人生 > >Java開發想嘗試大資料和資料探勘,如何規劃學習?

Java開發想嘗試大資料和資料探勘,如何規劃學習?

大資料火了幾年了,但是今年好像進入了全民大資料時代,本著對科學的鑽(zhun)研(bei)精(tiao)神(cao),我在17年年初開始自學大資料,後經過系統全面學習,於這個月跳槽到現任公司。

現在已經從之前的java後端開發正式轉大資料開發,專案資料50T,日均資料增長20G左右,大概是需求問題吧,工資待遇較上一份翻了一倍(這是重點)。

當然,我的分享不是能讓各位升職加薪跳槽,只是對於技術人來說,技多不壓身,以下為個人經驗分享,不喜勿噴。

以上為背景,下面我要開始我的表(ZHUANG)演(B)了:

很多初學者,對大資料的概念都是模糊不清的,大資料是什麼,能做什麼,學的時候,該按照什麼線路去學習,學完往哪方面發展,想深入瞭解,想學習的同學歡迎加入大資料學習企鵝群:458345782,有大量乾貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系

主要講一下幾點:

一、大資料的職業規劃方向

二、大資料開發工程師需get技能

三、如何系統的學習

四、資料分享(視訊、電子書、面試資料、專案原始碼)

一、大資料的職業規劃方向

學習目的在於工作上的運用,以下為大資料方向的三個崗位,附上薪資待遇。

1. 大資料售前工程師、大資料運維工程師(HCNA)10-15K

2. 大資料開發工程師、大資料平臺開發工程師(HCNP)15K-20K

3. 大資料科學家、大資料架構師、大資料高階分析師(HCIE)25K-50K

4. 其他(資料探勘工程師、倉庫採集開發工程師)12k-25K

二、大資料開發工程師需get技能

附上一份比較權威的大資料工程師技能圖

總結如下:

必須技能10條:

01.Linux 基本操作

02.python&爬蟲介紹

03.hadoop分散式集中

04.離線資料處理

05.實時資料處理

06.ETL與環境相關

07.大資料應用與資料探勘

08.java高階(虛擬機器、併發)

09..HBase(JavaAPI操作+Phoenix )

10. Kafka

11. Spark (Core+sparksql+Spark streaming )

12.CDH叢集

這張圖可能對技能的掌握說的更全面。

三、如何系統的學習

我本人是17年年初開始自學,自學了Linux 基本操作,這個很好學,領悟能力還可以就看書,不行就看視訊重複看,大概一週可以搞定。

然後就學習了CDH叢集搭建,Python爬蟲,我是java後端開發,這些網上找點資料看點書,很好學,上手也很快。

這裡重點推薦《深入理解Java虛擬機器》、《Java高併發實戰》必看書籍。

接著開始學hadoop,hbase,hive,scala,spark,python,kafka這些點,啃到hive的時候,人就有點暈了,按理說程式語言有相通性的,我買了相關書籍《HBase權威指南》《Hive開發指南》《快學Scala》《Spark 快速大資料分析》,然後逛了很多人的部落格,我不知道自學的人是否有跟我一樣的困擾,書的內容感覺可以看懂,但是看完也不知道怎麼用,然後也不會將所學的這些東西進行拼裝和運用。

然後我就停留在這一階段,停了1個多月的學習計劃,後面公司同事離職跳槽跟女友吵架分手等等遇到一些事情,我又想起還是要規劃下自己的職業生涯,順手報了個網校,遇到了還算不錯的老師,這個學習週期3個月就算結業了。計劃是想熬完過年再跳,跳槽的人都知道的,金三銀四~

這裡提醒一下,如果你覺得自己看書效率太慢,或者容易思維不通的情況,你可以在網上搜集一些課程,跟著課程走也OK 。這個完全根據自己情況決定。如果看書效率不高就很網課,相反的話就自己看書。自制力不強的人就沒什麼好推薦的,你什麼都不適合學。

以上反正我把需要掌握和學習的知識點告訴你了,你自己有時間和精力的話,就對應的去研究就好。

四、資料分享(視訊、電子書、面試資料、專案原始碼)

很多初學者,對大資料的概念都是模糊不清的,大資料是什麼,能做什麼,學的時候,該按照什麼線路去學習,學完往哪方面發展,想深入瞭解,想學習的同學歡迎加入大資料學習企鵝群:458345782,有大量乾貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系