1. 程式人生 > >Windows下配置Hadoop環境(全過程)

Windows下配置Hadoop環境(全過程)

首先到官方下載官網的hadoop2.7.7,連結如下
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
找網盤的hadooponwindows-master.zip
連結如下
https://pan.baidu.com/s/1VdG6PBnYKM91ia0hlhIeHg
把hadoop-2.7.7.tar.gz解壓後
使用hadooponwindows-master的bin和etc替換hadoop2.7.7的bin和etc
配置JAVA_HOME
這裡寫圖片描述
注意:安裝Hadoop2.7.7
  官網下載Hadoop2.7.7,安裝時注意,最好不要安裝到帶有空格的路徑名下,例如:Programe Files,否則在配置Hadoop的配置檔案時會找不到JDK(按相關說法,配置檔案中的路徑加引號即可解決,但我沒測試成功)。
配置HADOOP_HOME
這裡寫圖片描述

path新增%HADOOP_HOME%\bin(win10不用分號或者如下編輯介面不用分號,其餘加上 ;)

這裡寫圖片描述
使用編輯器開啟E:\Hadoop2.7.7\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd
修改JAVA_HOME的路徑
把set JAVA_HOME改為jdk的位置
注意其中PROGRA~1代表Program Files
set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_171
這裡寫圖片描述
開啟 hadoop-2.7.7/etc/hadoop/hdfs-site.xml
修改路徑為hadoop下的namenode和datanode


dfs.replication
1


dfs.namenode.name.dir
/E:/Hadoop2.7.7/hadoop-2.7.7/data/namenode


dfs.datanode.data.dir
/E:/Hadoop2.7.7/hadoop-2.7.7/data/datanode

在E:\Hadoop-2.7.7目錄下 新增tmp資料夾
在E:/Hadoop2.7.7/hadoop-2.7.7/新增data和namenode,datanode子資料夾
這裡寫圖片描述
這裡寫圖片描述

還需要把hadoop.dll(從)拷貝到 C:\Windows\System32
這裡寫圖片描述
這裡寫圖片描述
不然在window平臺使用MapReduce測試時報錯

以管理員身份開啟命令提示符
輸入hdfs namenode -format,看到seccessfully就說明format成功
這裡寫圖片描述
這裡寫圖片描述

轉到Hadoop-2.7.3\sbin檔案下
這裡寫圖片描述
輸入start-all,啟動hadoop叢集
這裡寫圖片描述
出現下面四個視窗表示啟動hadoop叢集成功
這裡寫圖片描述


這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述

輸入jps - 可以檢視執行的所有節點
這裡寫圖片描述
訪問http://localhost:50070,訪問hadoop的web介面
這裡寫圖片描述

補充:停止執行的所有節點的命令為
這裡寫圖片描述

(本文引用修改)