1. 程式人生 > >Hadoop2.7.6在Windows7單機部署

Hadoop2.7.6在Windows7單機部署

在win7中部署hadoop有好多坑,費了我好大功夫才部署好的,趕緊寫一下,萬一以後用到少走彎路。 我的渣渣win7環境:

windows7-64位
hadoop2.7.6
python-2.7.3
部署Hadoop2.7.6需要以下步驟:

1.配置jdk1.8不要安裝在空格的目錄中,你會發現hadoop和spark不支援有空格的目錄配置(敲黑板!!)所以我自己新建了一個資料夾安裝jdk

確認一下,點選下載就行。下載後自定義安裝一下就行。 安裝後如下:

然後在系統屬性-環境變數裡面新增環境變數

JAVA_HOME:C:\java\jdk1.8.0_171
PATH裡面新增上:;%JAVA_HOME%\bin

此時,你在cmd命令視窗上,敲上:javac

如果出現下面的情況那到這裡jdk就算安裝好了。

4 安裝hadoop,解壓G:\hadoop\hadoop276

5 配置hadoop環境變數

HADOOP_HOME:D:\Soft\hadoop-2.7.6
PATH裡面新增上:;%HADOOP_HOME%\bin;

6 檢查hadoop環境 hadoop version

7 配置hadoop的配置檔案 (namenode,datanode執行讀取)配置檔案目錄:G:\hadoop\hadoop276\etc\hadoop

1) core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/Soft/hadoop-2.7.6/workplace/tmp</value>
<description>namenode上本地的hadoop臨時資料夾</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI,檔案系統://namenode標識:埠號</description>
</property>
</configuration>

2)hdfs-site.xml

<configuration>
<!-- 這個引數設定為1,因為是單機版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本個數,配置預設是3,應小於datanode機器數量</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/Soft/hadoop-2.7.6/workplace/data</value>
<description>datanode上資料塊的物理儲存位置</description>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/Soft/hadoop-2.7.6/workplace/name</value>
<description>namenode上儲存hdfs名字空間元資料 </description>
</property>
</configuration>

3)mapred-site.xml

沒有就將mapred-site.xml.template重新命名為mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>

4)yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

8 配置hadoop-env.cmd

G:\hadoop\hadoop276\etc\hadoop\hadoop-env.cmd 設定jdk的路徑,不然會報錯jdk路徑找不到 @rem set JAVA_HOME=%JAVA_HOME% @rem 防止java環境變數名稱不統一直接寫路徑 set JAVA_HOME=C:\java\jdk1.8.0_171

9 替換bin目錄檔案

10 執行cmd視窗,執行“hdfs namenode -format”

因為之前執行過,所以,我的是這樣的,讓我輸入Y或者N來reformat,第一次執行肯定不會這樣,第一次只有沒有錯誤就行。

11 啟動hadoop ,切換到hadoop的sbin目錄,執行“start-all.cmd” 啟動4個程序

注意哈,出現這4個程序才行,不然以後會出現錯誤,如果有程序沒有啟動的話,你看一下那個步驟7步驟10是不是真的弄好了。(默默地點支蠟) 如果四個程序都OK了,那hadoop環境搭建完畢,恭喜了,中午該加雞腿辣,或者晚上來杯可樂。

要是12、13還是沒有問題,那麼就再恭喜一次,你怎麼能跟我一樣優秀呢(咳咳,臉紅了),這時候你得花光螞蟻花唄的額度了來慶祝一下了。

下一篇還有配置spark的哈我累了,改天再BB