1、準備工作：

阿里雲伺服器：

作業系統:linux CentOS 7.4 64位
Cpu：1核
記憶體：2G
硬碟:40G
ip:47.105.157.216

jdk-8u60-linux-x64.tar.gz

hadoop-2.7.2.tar.gz

2、環境搭建步驟：

2.1、首先更改主機名，目的是為了方便管理

新增IP和主機名對映(vim /etc/hosts),在配置檔案中使用主機名的話，這個對映必須加。必須使用私有地址

注:主機名稱更改之後，要重啟(reboot)才會生效。

2.2、關閉防火牆

2.3、在opt下建立資料夾

2.4、安裝JDK

解壓jdk到/opt/module目錄下

配置jdk環境變數

開啟/etc/profile 檔案,在 profie 檔案末尾新增 jdk 路徑：

讓修改後的檔案生效：

測試安裝成功

2.5、安裝Hadoop

解壓hadoop檔案到/opt/module下面

在/opt/module/hadoop-2.7.2/etc/hadoop 路徑下配置 hadoop-env.sh

將hadoop新增到環境變數,開啟/etc/profile 檔案(vi /etc/profile),在 profie 檔案末尾新增 jdk 路徑.

讓修改後的檔案生效：

3、執行模式：

Hadoop 執行模式：

（1）本地模式（預設模式）： 不需要啟用單獨程序，直接可以執行，測試和開發時使用。

（2）偽分散式模式： 等同於完全分散式，只有一個節點。

（3）完全分散式模式： 多個節點一起執行。

4、本地模式

4.1、官方grep案例

建立在 hadoop-2.7.2 檔案下面建立一個 input 資料夾

將 hadoop 的 xml 配置檔案複製到 input

執行 share 目錄下的 mapreduce 程式(將input下所有dfs開頭a-z接續的檔案都拷貝到output下)

檢視輸出結果(output下有2個檔案,一個是存放內容的,一個是成功標記檔案)

4.2、官方wordcount案例

建立在 hadoop-2.7.2 檔案下面建立一個 wcinput 資料夾,在 wcinput 檔案下建立一個 wc.input 檔案

編輯vim wc.input 檔案,輸入如下內容

hadoop yarn

hadoop mapreduce

atguigu

atguigu

回到 hadoop 目錄/opt/module/hadoop-2.7.2,執行以下命令：

檢視結果(統計出每個單詞的個數)

5、偽分散式模式(只有一個節點)

5.1、啟動 HDFS 並執行 MapReduce 程式

除了完成以上環境搭建後還需要完成以下幾步：

5.1.1、配置叢集

1)、配置：hadoop-env.sh

2)、配置：core-site.xml

3)、配置：hdfs-site.xml

5.1.2、啟動叢集

1)、格式化 namenode（第一次啟動時格式化，以後就不要總格式化）

2)、啟動 namenode

3)、啟動 datanode

5.1.3、檢視叢集

1)、檢視是否啟動成功

2)、檢視產生的 log 日誌

3)、Web端檢視hdfs檔案系統

5.1.4、操作叢集

1)、在 hdfs 檔案系統上建立一個 input 資料夾

2)、將測試檔案內容上傳到檔案系統上

注：wcinput/wc.input為本地檔案目錄，/user/root/input為hdfs檔案節點目錄。

本地執行時使用的本地檔案，而hadoop執行時要使用hdfs檔案。

3)、執行 mapreduce 程式

4)、檢視輸出結果

命令列檢視：

瀏覽器檢視：

5)、將測試檔案內容下載到本地

6)、刪除輸出結果

5.2、YARN 上執行 MapReduce 程式

除了完成以上環境搭建後還需要完成以下幾步：

5.2.1、配置叢集

1)、配置 yarn-env.sh和mapred-env.sh

2)、配置：yarn-site.xml

3)、配置： (對 mapred-site.xml.template 重新命名為) mapred-site.xml

vi mapred-site.xml

5.2.2、啟動叢集

啟動resourcemanager和nodemanager

5.2.3、叢集操作

1)、yarn 的瀏覽器頁面檢視

2)、刪除檔案系統上的 output 檔案

3)、執行 mapreduce 程式

注：此時跑的與之前的不同，控制檯列印內容不同，此時時真正的mr資源呼叫.

4)、檢視執行結果

5.3、配置檔案說明

Hadoop 配置檔案分兩類：預設配置檔案和自定義配置檔案，只有使用者想修改某一預設 配置值時，才需要修改自定義配置檔案，更改相應屬性值。

1)、預設配置檔案：存放在 hadoop 相應的 jar 包中

[core-default.xml]

hadoop-common-2.7.2.jar/ core-default.xml

[hdfs-default.xml]

hadoop-hdfs-2.7.2.jar/ hdfs-default.xml

[yarn-default.xml]

hadoop-yarn-common-2.7.2.jar/ yarn-default.xml

[core-default.xml]

hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xm

2)、自定義配置檔案：存放在$HADOOP_HOME/etc/hadoop

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml