1. 程式人生 > >基於Storm+KafKa技術實現“天貓雙十一”大屏實時展示項目

基於Storm+KafKa技術實現“天貓雙十一”大屏實時展示項目

動態 twitter 學習 初始化 ask 計算 keep targe pig

基於Storm+KafKa技術實現“天貓雙十一”大屏實時展示項目
資料下載:

https://pan.baidu.com/s/1BX7jG1llz4zdT5fqdi4sHQ
提取碼:c2nl


Storm是什麽? 為什麽學習Storm? Storm是Twitter開源的分布式實時大數據處理框架,被業界稱為實時版Hadoop。 隨著越來越多的場景對Hadoop的MapReduce高延遲無法容忍,比如網站統計、推薦系統、預警系統、金融系統(高頻交易、股票)等等, 大數據實時處理解決方案(流計算)的應用日趨廣泛,目前已是分布式技術領域最新爆發點,而Storm更是流計算技術中的佼佼者和主流。 按照storm作者的說法,Storm對於實時計算的意義類似於Hadoop對於批處理的意義。

Hadoop提供了map、reduce原語,使我們的批處理程序變得簡單和高效。 同樣,Storm也為實時計算提供了一些簡單高效的原語,而且Storm的Trident是基於Storm原語更高級的抽象框架,類似於基於Hadoop的Pig框架, 讓開發更加便利和高效。

本課程會深入、全面的講解Storm,並穿插企業場景實戰講述Storm的運用。 淘寶雙11的大屏幕實時監控效果沖擊了整個IT界,業界為之驚嘆的同時更是引起對該技術的探索。 學完本課程你可以自己開發升級版的“淘寶雙11”,還等什麽?


課程大綱:

1、【第一章】課程介紹,Storm簡介及背景和現狀,和JStorm對比
2、Storm架構原理詳解
3、虛擬機安裝和設置註意事項
4、Zookeeper集群部署和測試
5、Storm集群搭建及測試
6、Eclipse下介紹storm-starter例子,講解常用API類
7、API簡介和入門案例開發
8、API體系一欄,Spout和Bolt系列類介紹
9、幾種Grouping策略詳解
10、FatJar插件安裝、打包發布,詳解Storm UI界面使用
11、通過UI界面檢測作業狀況,詳解UI查看技巧,界面查日誌logviewer
12、Wroker、Executer、Task概念及關系詳解,動態調整並發度
13、【實戰案例】計算當天銷售額
14、【案例升級】計算當天銷售額和購買人數
15、時間窗口的概念及相關API介紹
16、滾動窗口 Tumbling Window的實戰案例
17、滑動窗口 Sliding Window的實戰案例
18、Storm容錯機制Acker詳解
19、【案例】Acker失敗重發編碼實現
20、Storm集群Start-all.sh和Stop-all.sh命令開發一
21、Storm集群Start-all.sh和Stop-all.sh命令開發二

22、【第二章】Kafka架構原理、概念詳解
23、Kafka集群搭建
24、Kafka Java API 簡單開發測試
25、storm-kafka 詳解和實戰案例,工程轉到IntelliJIDEA上
26、storm-kafka案例詳解續,IDEA使用技巧
27、【項目1-地區銷售額】需求分析和架構設計
28、【項目1-地區銷售額】Topo開發1
29、【項目1】HBase讀寫開發
30、【項目1】Topo開發2,加入寫HBase和啟動初始化動作
31、【項目1】Highchats圖表的開發思路,項目中加入Web模塊
32、【項目1】Servlet代碼實現和講解,項目運行

33、【第三章】Storm高級運用Trident入門,DRPC概念
34、Trident基礎二
35、Trident的FirstN、投影操作、鏈操作、重分區
36、【項目2-省份銷售TopN】需求分析,Topo開發一
37、【項目2-省份銷售TopN】Topo開發二
38、【項目2】打包發布Topo,配置和啟動DRPC Server,開發DRPC客戶端進行驗證
39、【項目2】Web端開發和項目運行
40、【項目3】需求分析,Topo開發
41、Topo開發二
42、Topo開發三,增加啟動Topo進行初始化數據的機制
43、Web端開發一
44、Web端開發二,項目運行



基於Storm+KafKa技術實現“天貓雙十一”大屏實時展示項目