Windows 10 搭建Hadoop平臺

摘要： 一、環境配置 JDK：1.8. Hadoop下載地址(我選擇的是2.7.6版本)：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ Hadoop執行在Windows上需要安裝winutils支援和hadoop.dl...

一、環境配置

JDK：1.8.

Hadoop下載地址(我選擇的是2.7.6版本)：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

Hadoop執行在Windows上需要安裝winutils支援和hadoop.dll檔案。

winutils(我選擇的是2.7.1版本)下載地址：https://github.com/steveloughran/winutils。

將檔案解壓到D盤根目錄。

二、配置環境變數。

需要配置4個環境變數(JAVA相關自行百度)。

HADOOP_HOME：D:\hadoop-2.7.6

HADOOP_CONF_DIR：%HADOOP_HOME%\etc\hadoop

YARN_CONF_DIR：%HADOOP_CONF_DIR%

PATH新增%HADOOP_HOME%/bin

三、搭建winutils環境。

將下載的winutils(選擇2.7.1版本中的檔案放到) D:\hadoop-2.7.6\bin 資料夾中。

四、Hadoop環境配置。

首先，進入hadoop資料夾下的etc\hadoop資料夾，資料夾下修改檔案：

• 修改core-site.xml為如下程式碼：

  <configuration>
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
  </property>
  </configuration>
  
  

• 修改mapred-site.xml為如下程式碼：

  <configuration>
  <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
  </configuration>
  

• 修改hdfs-site.xml如下：

  <configuration>
  <property>
  <name>dfs.replication</name>
  <value>1</value>
  </property>
  <property>
  <name>dfs.namenode.name.dir</name>
  <value>/D:/hadoop-2.7.6/data/namenode</value>
  </property>
  <property>
  <name>dfs.datanode.data.dir</name>
  <value>/D:/hadoop-2.7.6/data/datanode</value>
  </property>
  </configuration>
  

• 修改yarn-site.xml為：

  <configuration>
  <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  </property>
  <property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  </configuration>
  

• 修改hadoop-env.cmd，JAVA_HOME設定為 set JAVA_HOME=C:\Java\jdk1.8.0_144，並在尾部新增

  set HADOOP_IDENT_STRING=%USERNAME%
  set HADOOP_PREFIX=D:\hadoop-2.7.6
  set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
  set YARN_CONF_DIR=%HADOOP_CONF_DIR%
  set PATH=%PATH%;%HADOOP_PREFIX%\bin
  

• 在D:\hadoop-2.7.6\etc\hadoop資料夾下建立slaves.txt檔案，並在其中新增localhost

五、執行Hadoop

• 開啟cmd，執行‘hdfs namenode -format’,執行沒有報錯，說明成功。
• 然後進入hadoop目錄下sbin資料夾，雙擊start-all.cmd,得到如下圖所示四張圖： 

• 開啟cmd，輸入jps。可以看到如下提示。

• 

  搭建成功。

• 搭建過程中遇到問題。
• 1、NameNode資料夾不存在，我手動在路徑中新增資料夾。()
• 2、啟動後報錯NameNode資料夾沒有format。開啟cmd，輸入hadoop namenode -format。重新啟動start-all.cmd檔案。
• 3、經過上部，發現ResourceManager又出問題。啟動stop-all.sh，然後start-all.sh，然後start-all.cmd。
• 上訴3步過後，系統搭建OK。