大資料開發工程師，很多人都向往的職業，但總有這樣那樣的理由，在逼迫這自己放棄。明明知道大資料良好的前景，明明知道學完大資料可以找到一份很好的工作，但就是不會對自己下狠心。大資料培訓老師總結了學生在學習大資料開發過程中遇到的難點，幫助大家逐一攻克難關!

大資料開發，有4個階段：

1、資料採集

資料採集有線上和線下兩種方式，線上一般通過爬蟲、通過抓取，或者通過已有應用系統的採集，在這個階段，我們可以做一個大資料採集平臺，依託自動爬蟲(使用python或者nodejs製作爬蟲軟體)，ETL工具、或者自定義的抽取轉換引擎，從檔案中、資料庫中、網頁中專項爬取資料，如果這一步通過自動化系統來做的話，可以很方便的管理所有的原始資料，並且從資料的開始對資料進行標籤採集，可以規範開發人員的工作。並且目標資料來源可以更方便的管理。

資料採集的難點在於多資料來源，例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。還有本地檔案、excel統計文件、甚至是doc檔案。如何將他們規整的、有方案的整理進我們的大資料流程中也是必不可缺的一環。

2、資料匯聚

資料的匯聚是大資料流程關鍵的一步，你可以在這裡加上資料標準化，你也可以在這裡做資料清洗，資料合併，還可以在這一步將資料存檔，將確認可用的資料經過可監控的流程進行整理歸類，這裡產出的所有資料就是整個公司的資料資產了，到了一定的量就是一筆固定資產。

資料匯聚的難點在於如何標準化資料，例如表名標準化，表的標籤分類，表的用途，資料的量，是否有資料增量?，資料是否可用? 需要在業務上下很大的功夫，必要時還要引入智慧化處理，例如根據內容訓練結果自動打標籤，自動分配推薦表名、表字段名等。還有如何從原始資料中匯入資料等。

3、資料轉換和對映

經過資料匯聚的資料資產如何提供給具體的使用方使用?在這一步，主要就是考慮資料如何應用，如何將兩個?三個?資料錶轉換成一張能夠提供服務的資料。然後定期更新增量。

經過前面的那幾步，在這一步難點並不太多了，如何轉換資料與如何清洗資料、標準資料無二，將兩個欄位的值轉換成一個欄位，或者根據多個可用表統計出一張圖表資料等等。

4、資料應用

資料的應用方式很多，有對外的、有對內的，如果擁有了前期的大量資料資產，通過restful API提供給使用者?或者提供流式引擎 KAFKA 給應用消費? 或者直接組成專題資料，供自己的應用查詢?這裡對資料資產的要求比較高，所以前期的工作做好了，這裡的自由度很高。

大資料開發的難點主要是監控，怎麼樣規劃開發人員的工作?開發人員隨隨便便採集了一堆垃圾資料，並且直連資料庫。 短期來看，這些問題比較小，可以矯正。 但是在資產的量不斷增加的時候，這就是一顆定時炸彈，隨時會引爆，然後引發一系列對資料資產的影響，例如資料混亂帶來的就是資料資產的價值下降，客戶信任度變低。

如果你想要成為高階實用的大資料開發技術精英，如果你想要成為就業實力派

網際網路科技發展蓬勃興起，人工智慧時代來臨，抓住下一個風口。為幫助那些往想網際網路方向轉行想學習，卻因為時間不夠，資源不足而放棄的人。我自己整理的一份最新的大資料進階資料和高階開發教程，大資料學習群：199427210 歡迎進階中和進想深入大資料的小夥伴加入。