1. 程式人生 > >大資料開發技術學習路線及內容

大資料開發技術學習路線及內容

不管是現在,還是在未來很長的時間內,IT行業都將處於網際網路的領頭位置,市場和企業對於IT人才素質的要求將更加嚴格,更加面向現實需求和未來規劃。
首先,注重的是IT人才的專業知識和專案操作能力。IT行業涉獵領域極廣,尤其在現在這個時代,必將大範圍覆蓋製造、服務、金融、石化等各個時代;
其次,IT人才的培養中要求IT成員具有創新精神和團隊合作意識,時刻把握科技發展動向,不斷提升自我能力,與團隊多交流,共同發展進步。
第三,IT人才必須全方位提升自身綜合素質,個人綜合素質決定了其今後發展的方向和前景。
在IT行業中,大資料逐漸展露頭角,受到很多人的關注和學習。
具體技術學習路線如下:

第一階段 Java語言基礎階段
1.1 Java程式語言基本概述
1.2 Java基礎語法
1.3 面向物件程式設計
1.4 面向物件高階程式設計
1.5 Java中的常用類庫
1.6 列舉和異常類
1.7 Java資料結構和集合框架泛型
1.8 Java中的IO流
1.9 Java中的多執行緒
1.10 Java中網路程式設計和反射
1.11 Java8新特性
1.12 Java基礎加強
第二階段 Linux系統&Hadoop生態體系
01 Linux入門
02 常用基本命令
03 系統管理
04 Linux操作增強
05 Linux shell程式設計
06 Hadoop生態
07 分散式系統概述
08 Hadoop入門
09 Hadoop偽分散式
10 Hadoop全分散式
11 HDFS基本概念
12 HDFS的應用開發
13 HDFS的IO流操作
14 NameNode工作機制
15 DataNode工作機制
16 Zookeeper入門
17 Zookeeper詳解
18 HA框架原理
19 Hadoop-HA叢集配置
20 MapReduce框架原理
21 Shuffle機制
22 Mapreduce案例一
23 Mapreduce案例二
24 Hive入門
25 Hive DDL資料定義
26 Hive分割槽表
27 Hive分桶表
28 Hive查詢
29 Hive的高階查詢Join與排序
30 Hive的函式
31 Hive DML資料管理
32 Hive檔案儲存
33 Hive企業級調優
34 Hive企業級調優二
35 Hive企業級專案實戰
36 Flume詳解
37 Sqoop詳解
38 Hbase概念
39 Hbase的操作
40 Hbase整合
41 Hbase的實戰和優化
第三階段 分散式計算框架
3.1 scala
3.2 Spark Core
3.3 Spark SQL
3.4 Spark Streaming
3.5 kafka
3.6 ElasticSearch
3.7 Logstash
3.8 Kibana
3.9 Kibana
第四階段 大資料實戰專案
4.1 互金領域-廣告投放
專案介紹:構建廣告投放平臺,進行廣告投放業務,吸引潛在客戶,推廣產品,包含投放微服務平臺、競價模組、客戶群體畫像、 千人千面推薦產品。
4.2 電商平臺
專案介紹: 埋點業務,進行使用者細分畫像、建立信用體系、進行線上各類活動。
4.3 共享單車
專案介紹: 依據使用者行為軌跡構成出行規律,根據使用者群體出行規律、區域情況等動態排程用車情況。
4.4 工業大資料
專案介紹:國家電網_省級輸/變電監控專案:監控線路的感測裝置,確保裝置安全、降低故障成本,動態監控線路、變電站二次裝置工作情況、報警自動化。
4.5 交通
專案介紹:貴州交通廳,交通離線/實時監控專案:通過交通卡口採集實時資料,動態監控全省各道路通行和事故狀況,避免擁堵、避免交通事故、 精準測速、防止套牌和提供便捷最佳出行方案、 預測擁堵係數,為各級提供最優道路規劃方案。
4.6 旅遊
專案介紹:安順智慧旅遊,整合各類旅遊相關應用系統及資訊資源,在公安、交通、工商等相關領域實現資訊共享、協同合作,共同打造良性的旅遊雲生態系統。
4.7 醫療
專案介紹:某市人民醫院,隨著老年化的持續增加,患病率越來越高。增加大資料平臺,採集醫療相關資料,提高診斷的準確性,預防一些疾病的發生,監控相關病情康復進展,真正實現解決看病難,降低發病率等。
第五階段 大資料分析
5.1 Data Analyze資料分析基礎
5.2 工作環境準備
5.3 資料視覺化的概念與準則
5.4 Python機器學習
5.5 選擇模型
5.6 構建樹的過程
5.7 網格搜尋
5.8 sklearn中有三類樸素貝葉斯演算法
5.9 顏色特徵
5.10 手寫數字識別
5.11 文字的基本組成
5.12 文字的基本組成