課程介紹
本套教程為真實的大數據實戰案例，適合有大數據基礎的學員學習，熟練掌握本套大數據案例，完全可以勝任企業級的大數據開發。祝願各位轉型的大數據學子拿到自己理想的收入。

課程說明

本課程將通過一個真實的企業級雲產品項目進行講解，該項目是國內專業的移動應用統計分析平臺，每天觸達14億活躍設備，每月覆蓋80%以上新增手機消費者，幾乎覆蓋全部iOS消費者，通過該項目系統幫助移動應用開發商統計和分析流量來源、內容使用、用戶屬性和行為數據，以便開發商利用數據進行產品、運營、推廣策略的決策。提供基本統計、活躍用戶、使用頻率、使用時長、頁面訪問、地域分析、版本分析、渠道分析、設備分析、操作系統、分辨率、運營商、聯網方式、自定義事件分析、終端異常分析,流失用戶分析等多種統計分析手段。

課程所用到的開發環境和用到的技術：
系統：window7，
開發工具是:eclipse，IDEA，
本課程項目是一個綜合項目，技術涵蓋java web，大數據，虛擬化，linux服務器等
具體包含： spring，spark，spark streaming，spark mlib，hive，flume,kafka,hadoop，hbase，mongodb，dubbo,分布式緩存，redis，docker，nginx,easyui，highcharts等等。
此課程是按照真實企業級開發項目流程進行講解，通過學習此課程可以體會到真實的大型大數據項目開發流程，學完此課程可以熟練掌握大數據技術，java web技術，docker虛擬化技術，分布式技術，緩存技術，linux等

（一）項目總體需求分析
1.項目背景

在這個互聯網爆發的時代，移動網絡，移動設備逐漸成為人們的必備品，移動設備的用戶已經達到幾億，可想而知，app必將流行起來，但是每一款app都要運營，達到盈利的目的，那麽這個運營怎麽做呢？要借助大數據的技術，準確分析用戶的行為，這必將會有很大的需求。

2.項目需求

在這個互聯網爆發的時代，移動網絡，移動設備逐漸成為人們的必備品，移動設備的用戶已經達到幾億，可想而知，app必將流行起來，但是每一款app都要運營，達到盈利的目的，那麽這個運營怎麽做呢，要借助大數據的技術，準確分析用戶的行為，這必將會有很大的需求。急需一個系統幫助各大中小企業快速的分析app用戶的行為，只需要接入提供的sdk，就可以輕松的了解用戶的行為，享受大數據技術帶來的時代變革。通過該產品可以了解到：app的應用趨勢，app的渠道推廣情況，用戶留存情況，用戶的行為分析，用戶屬性分析，應用錯誤分析，用戶數據挖掘，並且需要實時去展示這些分析結果。

3.系統功能

可以查看該app的用戶活躍度，每個時段的新增用戶，app的終端使用分類情況，沈默用戶，和忠誠用戶的統計和查看等。

（二）項目架構設計及技術選型

1.項目整體架構設計

2.軟件選型

（三）項目整體環境搭建

1.機器選型、節點規劃等。

2.集群環境搭建

（四）相關項目內容

1.物理架構，邏輯架構

2.上報數據服務的設計與開發

3.實時處理數據的環境搭建和程序開發

4.日誌收集系統設計

5.離線任務的設計和開發

6.高並發，緩存，虛擬化等

大型企業級雲產品-數據統計分析系統（離線處理-流處理-批處理）