1. 程式人生 > >[Hadoop]Hadoop的安裝與配置

[Hadoop]Hadoop的安裝與配置

        作業系統:ubuntu 14.04 LTS

        Java 版本:openjdk-1.7.0_91

        Hadoop 版本:hadoop-1.2.1 (下載地址:hadoop-1.2.1

安裝

        下載 hadoop-1.2.1.tar.gz 後,將其移動到 /opt 目錄下:

sudo mv hadoop-1.2.1.tar.gz /opt
解壓:
sudo tar -zxvf hadoop-1.2.1.tar.gz
配置

        進入 hadoop-1.2.1/conf 目錄,執行以下配置:

        1. 修改 hadoop-env.sh 檔案,配置 JAVA_HOME 為本機所安裝的 jdk 路徑:


        2. 修改 core-site.xml 檔案,進行如下配置:

        其中 fs.default.name 的 value 中 //rendp:9000 為 主機名:埠號。

        3. 修改 hdfs-site.xml 檔案,進行如下配置:


        4. 修改 mapred-site.xml 檔案,進行如下配置:

        其中 value 值 rendp:9001 為 主機名:埠號。

        以上的檔案配置完成之後,修改 /etc/profile 檔案,增加 HADOOP_HOME,如下圖:


        修改完 /etc/profile 檔案後,執行以下命令:

source /etc/profile
接下來,進入 hadoop-1.2.1/bin 目錄,進行 hadoop 的 namenode 的格式化,執行如下命令:
hadoop namenode -format

注意,由於之前配置 hadoop 檔案系統為 /hadoop 目錄,因此可能由於許可權問題導致格式化失敗,此時通過手動建立 /hadoop 目錄並用 chmod 命令對 /hadoop 目錄進行修改即可。

sudo mkdir /hadoop
sudo chmod -R a+w /hadoop

        接下來,可以執行 start-all.sh 啟動 hadoop,注意,此時可能由於許可權問題導致啟動失敗,使用 chmod 命令修改 hadoop-1.2.1 目錄的許可權即可正確啟動。

        以上步驟完成了 hadoop 的安裝和配置,執行 jps 命令可以檢視到如下資訊,說明 hadoop 已可正確執行。