day06.Hadoop快速入門&雲服務三種模式IaaS，PaaS和SaaS【大資料教程】

1. HADOOP背景介紹

1.1 什麼是HADOOP

1). HADOOP是apache旗下的一套開源軟體平臺

2). HADOOP提供的功能：利用伺服器叢集，根據使用者的自定義業務邏輯，對海量資料進行分散式處理

3). HADOOP的核心元件有

A. HDFS（分散式檔案系統）

B. YARN（運算資源排程系統）

C. MAPREDUCE（分散式運算程式設計框架）

4). 廣義上來說，HADOOP通常是指一個更廣泛的概念——HADOOP生態圈

1.2 HADOOP產生背景

1). HADOOP最早起源於Nutch。

Nutch的設計目標是構建一個大型的全網搜尋引擎，包括網頁抓取、索引、查詢等功能，但隨著抓取網頁數量的增加，遇到了嚴重的可擴充套件性問題——如何解決數十億網頁的儲存和索引問題。

2). 2003年、2004年穀歌發表的兩篇論文為該問題提供了可行的解決方案。

——分散式檔案系統（GFS），可用於處理海量網頁的儲存

——分散式計算框架MAPREDUCE，可用於處理海量網頁的索引計算問題。

3). Nutch的開發人員完成了相應的開源實現HDFS和MAPREDUCE，並從Nutch中剝離成為獨立專案HADOOP，到2008年1月，HADOOP成為Apache頂級專案，迎來了它的快速發展期。

1.3 HADOOP在大資料、雲端計算中的位置和關係

1). 雲端計算是分散式計算、平行計算、網格計算、多核計算、網路儲存、虛擬化、負載均衡等傳統計算機技術和網際網路技術融合發展的產物。藉助IaaS(基礎設施即服務)、PaaS(平臺即服務)、SaaS（軟體即服務）等業務模式，把強大的計算能力提供給終端使用者。

2). 現階段，雲端計算的兩大底層支撐技術為“虛擬化”和“大資料技術”

3). 而HADOOP則是雲端計算的PaaS層的解決方案之一，並不等同於PaaS，更不等同於雲端計算本身。

1.4 國內外HADOOP應用案例介紹

1).HADOOP應用於資料服務基礎平臺建設

2).HADOOP用於使用者畫像

3).HADOOP用於網站點選流日誌資料探勘

1.5

國內HADOOP的就業情況分析

1).HADOOP就業整體情況

A. 大資料產業已納入國家十三五規劃

B. 各大城市都在進行智慧城市專案建設，而智慧城市的根基就是大資料綜合平臺

C. 網際網路時代資料的種類，增長都呈現爆發式增長，各行業對資料的價值日益重視

D. 相對於傳統JAVAEE技術領域來說，大資料領域的人才相對稀缺

E. 隨著現代社會的發展，資料處理和資料探勘的重要性只會增不會減，因此，大資料技術是一個尚在蓬勃發展且具有長遠前景的領域

2).HADOOP就業職位要求

大資料是個複合專業，包括應用開發、軟體平臺、演算法、資料探勘等，因此，大資料技術領域的就業選擇是多樣的，但就HADOOP而言，通常都需要具備以下技能或知識：

A. HADOOP分散式叢集的平臺搭建

B. HADOOP分散式檔案系統HDFS的原理理解及使用

C. HADOOP分散式運算框架MAPREDUCE的原理理解及程式設計

D. Hive資料倉庫工具的熟練應用

E. Flume、sqoop、oozie等輔助工具的熟練使用

F. Shell/python等指令碼語言的開發能力

3).HADOOP相關職位的薪資水平

大資料技術或具體到HADOOP的就業需求目前主要集中在北上廣深一線城市，薪資待遇普遍高於傳統JAVAEE開發人員，以北京為例：

1.6 HADOOP生態圈以及各組成部分的簡介

各元件簡介

HADOOP(hdfs、MAPREDUCE、yarn) 元老級大資料處理技術框架，擅長離線資料分析

Zookeeper 分散式協調服務基礎元件

Hbase 分散式海量資料庫，離線分析和線上業務通吃

Hive sql 資料倉庫工具，使用方便，功能豐富，基於MR延遲大

Sqoop 資料匯入匯出工具

Flume 資料採集框架

重點元件：

HDFS：分散式檔案系統

MAPREDUCE：分散式運算程式開發框架

HIVE：基於大資料技術（檔案系統+運算框架）的SQL資料倉庫工具

HBASE：基於HADOOP的分散式海量資料庫

ZOOKEEPER：分散式協調服務基礎元件

Mahout：基於mapreduce/spark/flink等分散式運算框架的機器學習演算法庫

Oozie：工作流排程框架

Sqoop：資料匯入匯出工具

Flume：日誌資料採集框架

2 分散式系統概述

注：由於大資料技術領域的各類技術框架基本上都是分散式系統，因此，理解hadoop、storm、spark等技術框架，都需要具備基本的分散式系統概念

2.1 分散式軟體系統(Distributed Software Systems)

該軟體系統會劃分成多個子系統或模組，各自執行在不同的機器上，子系統或模組之間通過網路通訊進行協作，實現最終的整體功能
比如分散式作業系統、分散式程式設計語言及其編譯(解釋)系統、分散式檔案系統和分散式資料庫系統等。

2.2 分散式軟體系統舉例：solrcloud

A. 一個solrcloud叢集通常有多臺solr伺服器

B. 每一個solr伺服器節點負責儲存整個索引庫的若干個shard（資料分片）

C. 每一個shard又有多臺伺服器存放若干個副本互為主備用

D. 索引的建立和查詢會在整個叢集的各個節點上併發執行

E. solrcloud叢集作為整體對外服務，而其內部細節可對客戶端透明

總結：利用多個節點共同協作完成一項或多項具體業務功能的系統就是分散式系統。

2.3 分散式應用系統模擬開發

需求：可以實現由主節點將運算任務發往從節點，並將各從節點上的任務啟動；

程式清單：

AppMaster

AppSlave/APPSlaveThread

Task

程式執行邏輯流程：

3. 離線資料分析流程介紹

注：本環節主要感受資料分析系統的巨集觀概念及處理流程，初步理解hadoop等框架在其中的應用環節，不用過於關注程式碼細節

一個應用廣泛的資料分析系統：“web日誌資料探勘”

3.1 需求分析

3.1.1 案例名稱

“網站或APP點選流日誌資料探勘系統”。

一般中型的網站(10W的PV以上)，每天會產生1G以上Web日誌檔案。大型或超大型的網站，可能每小時就會產生10G的資料量。

具體來說，比如某電子商務網站，在線團購業務。每日PV數100w，獨立IP數5w。使用者通常在工作日上午10:00-12:00和下午15:00-18:00訪問量最大。日間主要是通過PC端瀏覽器訪問，休息日及夜間通過移動裝置訪問較多。網站搜尋瀏量佔整個網站的80%，PC使用者不足1%的使用者會消費，移動使用者有5%會消費。

對於日誌的這種規模的資料，用HADOOP進行日誌分析，是最適合不過的了。

3.1.2 案例需求描述

“Web點選流日誌”包含著網站運營很重要的資訊，通過日誌分析，我們可以知道網站的訪問量，哪個網頁訪問人數最多，哪個網頁最有價值，廣告轉化率、訪客的來源資訊，訪客的終端資訊等。

3.1.3 資料來源

本案例的資料主要由使用者的點選行為記錄

獲取方式：在頁面預埋一段js程式，為頁面上想要監聽的標籤繫結事件，只要使用者點選或移動到標籤，即可觸發ajax請求到後臺servlet程式，用log4j記錄下事件資訊，從而在web伺服器（nginx、tomcat等）上形成不斷增長的日誌檔案。

形如：

58.215.204.118 - - [18/Sep/2013:06:51:35 +0000] "GET /wp-includes/js/jquery/jquery.js?ver=1.10.2 HTTP/1.1" 304 0 "http://blog.fens.me/nodejs-socketio-chat/" "Mozilla/5.0 (Windows NT 5.1; rv:23.0) Gecko/20100101 Firefox/23.0"

3.2 資料處理流程

3.2.1 流程圖解析

本案例跟典型的BI系統極其類似，整體流程如下：

但是，由於本案例的前提是處理海量資料，因而，流程中各環節所使用的技術則跟傳統BI完全不同，後續課程都會一一講解：

1) 資料採集：定製開發採集程式，或使用開源框架FLUME

2) 資料預處理：定製開發mapreduce程式運行於hadoop叢集

3) 資料倉庫技術：基於hadoop之上的Hive

4) 資料匯出：基於hadoop的sqoop資料匯入匯出工具

5) 資料視覺化：定製開發web程式或使用kettle等產品

6) 整個過程的流程排程：hadoop生態圈中的oozie工具或其他類似開源產品

3.2.2 專案技術架構圖

3.2.3 專案相關截圖（感性認識，欣賞即可）

a) Mapreudce程式執行

b) 在Hive中查詢資料

c) 將統計結果匯入mysql

./sqoop export --connect jdbc:mysql://localhost:3306/weblogdb --username root --password root --table t_display_xx --export-dir /user/hive/warehouse/uv/dt=2014-08-03

3.3 專案最終效果

經過完整的資料處理流程後，會週期性輸出各類統計指標的報表，在生產實踐中，最終需要將這些報表資料以視覺化的形式展現出來，本案例採用web程式來實現資料視覺化

效果如下所示：

4. 叢集搭建

4.1 HADOOP叢集搭建

4.1.1叢集簡介

HADOOP叢集具體來說包含兩個叢集：HDFS叢集和YARN叢集，兩者邏輯上分離，但物理上常在一起

HDFS叢集：

負責海量資料的儲存，叢集中的角色主要有 NameNode / DataNode

YARN叢集：

負責海量資料運算時的資源排程，叢集中的角色主要有 ResourceManager /NodeManager

(那mapreduce是什麼呢？它其實是一個應用程式開發包)

本叢集搭建案例，以5節點為例進行搭建，角色分配如下：

hdp-node-01 NameNode SecondaryNameNode

hdp-node-02 ResourceManager

hdp-node-03 DataNode NodeManager

hdp-node-04 DataNode NodeManager

hdp-node-05 DataNode NodeManager

部署圖如下：

4.1.2伺服器準備

本案例使用虛擬機器伺服器來搭建HADOOP叢集，所用軟體及版本：

Vmware 11.0
Centos 6.5 64bit

4.1.3網路環境準備

採用NAT方式聯網
閘道器地址：192.168.33.1
3個伺服器節點IP地址：192.168.33.101、192.168.33.102、192.168.33.103
子網掩碼：255.255.255.0

4.1.4伺服器系統設定

新增HADOOP使用者
為HADOOP使用者分配sudoer許可權
同步時間
設定主機名
- hdp-node-01
- hdp-node-02
- hdp-node-03
配置內網域名對映：
- 192.168.33.101 hdp-node-01
- 192.168.33.102 hdp-node-02
- 192.168.33.103 hdp-node-03

配置ssh免密登陸

配置防火牆

4.1.5 Jdk環境安裝

上傳jdk安裝包
規劃安裝目錄 /home/hadoop/apps/jdk_1.7.65
解壓安裝包
配置環境變數 /etc/profile

4.1.6 HADOOP安裝部署

上傳HADOOP安裝包
規劃安裝目錄 /home/hadoop/apps/hadoop-2.6.1
解壓安裝包
修改配置檔案 $HADOOP_HOME/etc/hadoop/

最簡化配置如下：

vi hadoop-env.sh

# The java implementation to use.

export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_51

vi core-site.xml

<name>fs.defaultFS</name>

</property>

<name>hadoop.tmp.dir</name>

<value>/home/HADOOP/apps/hadoop-2.6.1/tmp</value>