1. 程式人生 > >(hadoop+Spark)基於大資料技術企業專案實戰-電視收視率

(hadoop+Spark)基於大資料技術企業專案實戰-電視收視率

課程介紹本課程將通過一個電視收視率專案實戰驅動講解,專案案例是國內的一家廣電企業作為非洲國家的一個運營商,以使用者收視行為資料作為基礎資料,通過對頻道和節目的分析,採用多維度統計分析的方法挖掘使用者的收視行為特徵。" Z8 V5 H2 m' j; i9 s2 }( e
通過此案例可以學習大資料整體開發流程,課程是圍繞一個大資料整理流程而做的教學課程,讓大家明白大資料不同技術的相互協調,從收集資料,過濾資料,資料分析,資料展示,排程的使用而開發的課程,而且怎麼從hadoop,hive應用快速的過度到spark上面而做的整套流程。學完此課程可以企業流程做一個整體的認識。 d+ O0 x6 W7 V2 i+ H9 Z

課程大綱第1節專案的簡介 [免費觀看] 00:05:45分鐘第2節專案的背景 [免費觀看] 00:07:38分鐘第3節專案流程演示 [免費觀看] 00:11:57分鐘第4節講課的內容和對應的知識點 [免費觀看] 00:11:53分鐘第5節php展示統計分析之後的資料 [免費觀看] 00:02:28分鐘第6節大資料架構介紹並且企業使用的測試叢集環境和人員配置 [免費觀看] 00:07:15分鐘第7節VM的安裝 [免費觀看] 00:05:56分鐘第8節centos的安裝和網路配置00:24:10分鐘第9節通過第三方連線centos的方法00:06:48分鐘第10節CentOS的yum源更新已經關閉防火牆00:15:37分鐘第11節JAVA的安裝和hadoop安裝00:12:18分鐘
第12節完全分散式搭建(上)00:26:30分鐘第13節完全分散式搭建(下)00:08:00分鐘第14節通過hadoop自帶的demo執行單詞統計00:09:03分鐘第15節寫一個sh指令碼,可以通過一臺機器控制多臺機器00:16:15分鐘第16節hadoop常用的命令簡單介紹00:05:55分鐘第17節maven的安裝00:13:26分鐘第18節maven的使用時出現的問題以及解決問題方法00:02:04分鐘第19節MAPREDUCE 示例編寫及程式設計規範00:15:22分鐘第20節安裝時間同步工具,讓所有電腦進行同步00:09:55分鐘第21節Hive簡介和工作流程00:09:42分鐘第22節Mysql的安裝,centos7安裝mysql注意點00:12:45分鐘
第23節安裝Hive,並且使用Hive做一個小案例00:31:15分鐘第24節把txt檔案的資料匯入到Hive表中00:07:20分鐘第25節Flume採集系統結構圖00:07:40分鐘第26節Flume的安裝部署和實戰00:35:15分鐘第27節sqoop資料遷移和安裝00:08:22分鐘第28節sqoop資料從hadoop裡面匯入到mysql裡面00:07:35分鐘第29節sqoop資料從mysql裡面匯入到hadoop裡面00:14:39分鐘第30節Azkaban介紹和安裝00:14:03分鐘第31節Azkaban建立SSL配置和配置檔案00:15:57分鐘第32節Azkaban實戰通過5個不同場景介紹原理00:34:21分鐘第33節電視採集專案流程篇之通過linux日誌收集資料到hdfs上面00:38:42分鐘第34節電視採集專案流程篇之通過MAPREDUCE 把收集資料進行清洗00:19:01分鐘第35節電視採集專案流程篇之清洗資料繫結到hive表中(上)00:03:27分鐘第36節電視採集專案流程篇之清洗資料繫結到hive表中(下)00:17:03分鐘第37節電視採集專案流程篇之根據hive繫結資料統計計算儲存到hive表中00:04:46分鐘第38節電視採集專案流程篇之把hive表中資料匯入到mysql中00:13:13分鐘第39節電視採集專案流程篇之安裝php環境並且快速熟悉php語法00:09:48分鐘第40節電視採集專案流程篇之安裝php和echarts進行結合展示圖表00:18:23分鐘第41節電視採集專案流程篇之Azkaban排程指令碼的編寫00:32:04分鐘第42節電視採集專案流程篇之Azkaban流程排程演示,最終在php頁面展示00:05:35分鐘第43節hadoop和hive專案怎麼平滑的轉到spark上面介紹00:05:40分鐘第44節Spark介紹和整體架構00:08:04分鐘第45節Spark歷史和特點00:05:01分鐘第46節Spark下載原始碼和安裝和使用00:34:04分鐘第47節Spark建立RDD集合00:46:16分鐘第48節Spark中transformation的介紹00:25:15分鐘第49節Spark中action的介紹00:07:30分鐘第50節Spark SQL發展史00:05:26分鐘第51節HiveContext00:08:01分鐘第52節Spark SQL和DataFrame00:14:56分鐘第53節電視採集專案流程如何把hadoop專案平滑過渡到spark專案上00:03:59分鐘第54節電視採集專案流程spark篇通過sparksql處理業務邏輯上00:09:21分鐘第55節電視採集專案流程spark篇通過sparksql處理業務邏輯下00:13:31分鐘第56節電視採集專案流程spark篇通過Azkaban排程spark00:20:22分鐘第57節專案總體總結00:07:10分鐘第58節簡歷指導00:09:52分鐘

分享QQ:723167845