hadoop window下安裝 hadoop-2.6.0
阿新 • • 發佈:2018-06-14
all art ice dfs- win 技術 per atan 分享圖片
文件2 core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
文件3:hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1 </value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/data/dfs/datanode</value>
</property>
</configuration>
文件4:mapred-site.xml mapred-site.xml是復制mapred-site.xml.template,去掉template
<configuration>
<property>
<name>mapreduce.framework.name </name>
<value>yarn</value>
</property>
</configuration>
文件5: yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
四、啟動hadoop
進入到hadoop–>bin目錄下
hadoop namenode -format //格式化hdfs
cd ../sbin //進入到sbin目錄下
start-dfs.cmd //先啟動dfs
start-yarn.cmd //再啟動yarn
//或者
//start-all.cmd //先啟動dfs,再啟動yarn
五、啟動結果
在地址欄輸入http://localhost:8088
一、官網下載hadoop
http://hadoop.apache.org
https://archive.apache.org/dist/hadoop/common/
hadoop-2.6.0
管理員身份解壓D:\Hadoop\hadoop-2.6.0
二、winutils的下載
還需要下載winutils.exe,需要對應的版本.地址https://github.com/steveloughran/winutils,下載之後直接解壓,將bin目錄裏的內容直接覆蓋到hadoop的bin。
winutils.exe ---Hadoop在運行中需要的一個服務進程
三、hadoop配置
1.環境變量配置
HADOOP_HOME=D:\Hadoop\hadoop-2.6.0 --新建
path=%HADOOP_HOME%\bin --修改添加
2.hadoop文件配置
在目錄下D:\Hadoop\hadoop-2.6.0\etc\hadoop
文件1 hadoop-env.cmd
set JAVA_HOME=C:\Java64\jdk1.8.0_171
文件2 core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
文件3:hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/data/dfs/datanode</value>
</property>
</configuration>
文件4:mapred-site.xml mapred-site.xml是復制mapred-site.xml.template,去掉template
<configuration>
<property>
<name>mapreduce.framework.name
<value>yarn</value>
</property>
</configuration>
文件5: yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
四、啟動hadoop
進入到hadoop–>bin目錄下
hadoop namenode -format //格式化hdfs
cd ../sbin //進入到sbin目錄下
start-dfs.cmd //先啟動dfs
start-yarn.cmd //再啟動yarn
//或者
//start-all.cmd //先啟動dfs,再啟動yarn
五、啟動結果
在地址欄輸入http://localhost:8088
在地址欄輸入http://localhost:50070
hadoop window下安裝 hadoop-2.6.0