命令彙總

網路配置：

hostname          檢視主機名

vi   /etc/sysconfig/network    設定主機名

ifconfig                       檢視ip情況

vi  /etc/sysconfig/network-scripts/ifcfg-eth0    設定網路

    DEVICE=“eth0”       介面名（裝置，網絡卡）

BOOTPROTO=STATIC    IP的配置方法（static：固定IP，dhcpHCP，none:手動）

ONBOOT=yes             系統啟動的時候網路介面是否有效（yes/no）

IPADDR=192.168.1.2       IP

網址

GETEWAY=192.168.1.0      閘道器

DNS1=202.113.112.55      DNS伺服器

service  network   restart    重啟網絡卡服務

service  network   start      開始網絡卡服務

service  network   stop       停止網絡卡服務

ifconfig  eth0  up|down       關閉和啟用指定的網絡卡

ifconfig                   檢視配置的ip資訊是否生效

vi   /etc/ hosts               設定主機名和ip的對映關係

      192.168.1.2    master

      192.168.1.3    slave1

      192.168.1.4    slave2

ping   master

service   iptables  stop    關閉防火牆

chkconfig  iptables  off    關閉自啟動服務

配置SSH

rpm  -qa  | grep openssh     檢視是否安裝了ssh服務

rpm  -qa  | grep rsync       檢視是否安裝了rsync服務

yum  install ssh        安裝ssh協議

yum  install rsync      rshnc

是一個遠端資料同步工具

service   sshd   restart     啟動sshd服務

ssh-keygen  -t rsa  -P ‘’  生成無密碼金鑰對（存放路徑是

/home/Hadoop/.ssh）

cat  ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys    將id_rsa.pub追加

到授權的Key中

chmod   600   ~/.ssh/authorized_keys              授予讀寫的許可權

vi   /etc/ssh/sshd_config                   修改sshd服務的配置檔案

RSAAuthentication yes # 啟用 RSA 認證

PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式

AuthorizedKeysFile .ssh/authorized_keys # 公鑰檔案路徑（和上面生成的檔案同）

service   sshd   restart  重啟sshd服務,使修改生效

ssh   master      驗證ssh登入（第一次會要求輸入一次密碼）

單點對多點的SSH無密碼登入

ssh-keygen

ssh-copy-id  [email protected]      格式是“ssh-copy-id  使用者名稱@主機名”

ssh-copy-id  [email protected]            將本機的公鑰複製到遠端機器的

authorized_keys檔案中

多點對多點的ssh無密碼登入

操作起來比較複雜，建議使用指令碼語言實現。

每個機器上生成自己的公鑰和私鑰，並把自己的公鑰追加到

authorized_keys檔案

安裝JDK

root使用者登入

mkdir   /usr/java                  建立/usr/java目錄

cp /root/Downloads/jdk-6u31-linux-i584.bin  /usr/java   複製

chmod  +x   jdk-6u31-linux-i584.bin     賦予執行的許可權

./jdk-6u31-linux-i584.bin             解壓過bin檔案

rm  -rf   jdk-6u31-linux-i584.bin      刪除jdk安裝檔案

vim   /etc/profile

在尾部新增如下內容：  

# set java environment

exportJAVA_HOME=/usr/java/jdk1.6.0_31/

exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

exportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

source  /etc/profile     使profile的配置檔案生效

java –version          驗證jdk是否安裝成功

安裝剩餘機器：

 scp  /usr/java/jdk1.6.0_31/   [email protected]: /usr/java/

使用shell指令碼安裝：

for  i in  $(seq 1  100);

   do  echo   slave$i;

   scp  /usr/java/jdk1.6.0_31/   [email protected]$i: /usr/java/;

    done

profile環境變數的配置檔案也可以配置好後一次傳送所有叢集中。

Hadoop叢集的安裝

以root使用者登入

cp  /root/Downloads/Hadoop-1.0.0.tar.gz   /usr

cd   /usr

tar   -zxvf  Hadoop-1.0.0.tar.gz       解壓tar.gz的安裝包

mv  Hadoop-1.0.0   hadoop              資料夾重新命名

chown   -R    Hadoop:Hadoop Hadoop    hadoo檔案的屬主重新分配，-R是遞迴，hadoop資料夾分配給hadoop組下的hadoop使用者

rm –rf   Hadoop-1.0.0.tar.gz     刪除安裝檔案（-r是遞迴，-f是強制）

配置hadoop的環境變數

vi   /etc/profile

     export   HADOOP_HOME=/usr/Hadoop

     export   PATH=$PATH:$HADOOP_HOME/bin

sourcr   /etc/profile          使配置生效

配置hadoop

1.配置hadoop-env.sh

檔案位於“/usr/Hadoop/conf”

  vi    /usr/Hadoop/conf/Hadoop-env.sh

        export   JAVA_HOME=/usr/java/jdk1.6.0_31

2.配置core-site.xml檔案

  mkdir   /usr/Hadoop/tmp      建立資料夾tmp，用來儲存hadoop臨時資料

  vi   /usr/Hadoop/conf/core-site.xml

<configuration>

   <property>

       <name>hadoop.tmp.dir</name>

       <value>/usr/hadoop/tmp</value>

（備註：請先在 /usr/hadoop 目錄下建立 tmp 資料夾，預設採用系統的臨時目錄：/tmp/Hadoop-hadoop。而這個目錄每次重啟都會被幹掉，必須重新執行format才行，否則會出錯。）

       <description>A base for other temporary directories.</description>

   </property>

<!--file system properties ，配置NameNode的訪問地址-->

   <property>

       <name>fs.default.name</name>

        <value>hdfs://192.168.1.2:9000</value>

   </property>

</configuration>

3.配置hdfs-site.xml檔案

修改hadoop中的hdfs的配置，配置的備份方式預設是3

<configuration>

   <property>

       <name>dfs.replication</name>

        <value>1</value>

        (備註：replication 是資料副本數量，預設為3，salve少於3臺就會報錯)

   </property>

<configuration>

4.配置mapred-site.xml檔案

修改hadoop中mapreduce的配置檔案，配置的jobTracker的地址和埠

<configuration>

   <property>

       <name>mapred.job.tracker</name>

        <value>http://192.168.1.2:9001</value>

   </property>

</configuration>

5.配置masters檔案

修改/usr/Hadoop/conf/masters檔案，指定master機器的主機名

   vi   /usr/Hadoop/conf/masters

        192.168.1.2（或者是master）

6.配置slaves檔案

   vi  /usr/Hadoop/conf/slaves

       slave1

       slave2

注意：單機啟動的時候，conf/slaves中一定不能為空。沒有其他機器，就指定自己。

叢集環境下，slave機器上可以不配置slaves

7.在叢集中的其他機器上重複此配置

建議在普通使用者hadoop下通過scp複製到其他機器的對應目錄下。

其中第6步是master機器上特有的

使用shell指令碼：

  for  i  in  $(seq1  100);

   do  echo   slave$i;

   scp  /usr/hadoop   [email protected]$i: /usr;

   scp /etc/profile  [email protected]ave$i:/etc; 

    done

複製檔案後可能會發現hadoop目錄是root許可權

    chown -R   hadoop:Hadoop   Hadoop        授權給hadoop使用者

Hadoop啟動相關命令：

  Hadoop  namenode -format     在master機器上格式化namenode

只需要執行一次，如果要重新執行，一定要先刪掉配置檔案core-site.xml中配置的hadoop.tmp.dir對應路徑下的檔案

  service   iptables stop     關閉叢集中所有機器防火牆

           For  iin  (seq  1  100 );

               Do    ssh node$i  “hostname;

service  iptable stop;

               chkconfig    iptables  off;

               service  iptables  status

”; done

start-all.sh              啟動hadoop的所有服務，包含（hdfs和mapreduce的相關服務）

　　可以通過以下啟動日誌看出，首先啟動namenode 接著啟動datanode1，datanode2，…，然後啟動secondarynamenode。再啟動jobtracker，然後啟動tasktracker1，tasktracker2，…。

　　啟動 hadoop成功後，在 Master 中的 tmp 資料夾中生成了 dfs 資料夾，在Slave 中的 tmp 資料夾中均生成了 dfs 資料夾和 mapred 資料夾。

jps       檢視程序

在master上的結果是：

       jobTracker

       NameNode

       jps

       SecondaryNameNode

在slave上的結果是：

    TaskTracker

    DataNode

    jps

Hadoop   dfsadmin   -report    檢視hadoop叢集的狀態

Hadoop   dfsadmin  -safemode leave     關閉hdfs的安全模式

http:192.168.1.2:50030     訪問mapreduce對應網頁

http:192.168.1.2:50070     訪問hdfs的對應網頁

服務一直啟動不了的終極解決辦法：

1.刪除叢集中所有機器上的/usr/Hadoop/tmp檔案

2.刪除叢集中所有機器上的pid檔案。預設存放在/tmp目錄下。這裡我重新設定到了/bigdata/hadoop/pids,記得要授權給hadoop使用者

3.重新執行stop-all.sh，把能關的服務先都關掉。

4.執行ps -ef | grep java| grep hadoop命令，查詢是否還有hadoop相關程序才執行，如果有，執行kill -9  程序號    命令殺掉

5.重新格式化主機master

Hadoopnamenode  -format

6.執行start-all.sh啟動hadoop

7.發現沒有報錯，執行 Hadoopdfsadmin –report 命令檢視hadoop執行狀態

出現如圖所示：

發現只啟動了一個節點。可能是還存在安全模式。

8.執行hadoop dfsadmin –safemodeleave,關閉主機上的安全模式

9.再次執行hadoop dfsadmin –report

解決“no   datanode to  stop”問題？

原因：

每次namenode format會重新建立一個namenodeId，而tmp/dfs/data下包含了上次format下的id，namenode format清空了namenode下的資料，但是沒有清空datanode下的資料，導致啟動時失敗，所要做的就是每次fotmat前，清空tmp一下的所有目錄。

第一種方法：

刪除master上的tmp資料夾

  rm  -rf  /usr/Hadoop/tmp

建立/usr/Hadoop/tmp資料夾

   mkdir  /usr/Hadoop/tmp

刪除“/tmp”一下的“hadoop”開標頭檔案

   rm  -rf  /tmp/Hadoop*

重新格式化hadoop的master

   Hadoop  namenode -format

啟動hadoop

   start-all.sh

使用第一種方案，有種不好處就是原來叢集上的重要資料全沒有了。假如說Hadoop叢集已經運行了一段時間。建議採用第二種。

第二種方法：(推薦)

1）修改每個Slave的namespaceID使其與Master的namespaceID一致。

　　或者

2）修改Master的namespaceID使其與Slave的namespaceID一致。

　　該"namespaceID"位於"/usr/hadoop/tmp/dfs/data/current/VERSION"檔案中，前面藍色的可能根據實際情況變化，但後面紅色是不變的。

建議採用第二種，這樣方便快捷，而且還能防止誤刪。

解決Exceeded   MAX_FAILED_UNIQUE_FETCHES問題

出現錯誤如下：

Shuffle Error: ExceededMAX_FAILED_UNIQUE_FETCHES; bailing-out

　　程式裡面需要開啟多個檔案，進行分析，系統一般預設數量是1024，（用ulimit -a可以看到）對於正常使用是夠了，但是對於程式來講，就太少了。

執行ulimit  -a    檢視檔案限制數量

   vim   /etc/security/limits.conf

新增：

       soft   nofile  102400

      soft  nofile  409600  

vim  /etc/pam.d/login

新增：

   session  required /lib/security/pam_limits.so