1. 程式人生 > >Centos 6.5 搭建hadoop 叢集

Centos 6.5 搭建hadoop 叢集

-----本叢集搭建案例,以4節點為例進行搭建
1.JDK環境安裝(jdk-7u45-linux-x64.tar.gz 為例 下載地址: https://download.csdn.net/download/sq347216161/10308549
1.1.上傳jdk安裝包
1.2.規劃安裝目錄 ,解壓到此目錄  tar -zxvf jdk-7u45-linux-x64.tar.gz  -C  /usr/local/
1.3.設定環境變數:vi /etc/profile
#在檔案最後新增

1.4.重新整理環境變數配置:source /etc/profile

1.5.檢驗jdk是否生效:java




2.以hadoop使用者為使用者名稱登入
角色分配如下(hosts 對映好自己的ip和主機名):vi /etc/hosts

新增HADOOP使用者:
useradd hadoop
passwd hadoop
為hadoop使用者分配sudoer許可權:vi /etc/sudoers



3.關閉防火牆
#檢視防火牆狀態:service iptables status
#關閉防火牆:service iptables stop
#檢視防火牆開機啟動狀態:chkconfig iptables --list
#關閉防火牆開機啟動:chkconfig iptables off
重啟Linux :reboot


4.配置ssh免密登入(拷貝配置檔案,以及後續hadoop叢集批量啟動會使用到):
ssh-keygen  
ssh-copy-id  hadoop4   (本機)
ssh-copy-id  hadoop3   
ssh-copy-id  hadoop2
ssh-copy-id  hadoop1


5.hadoop 環境 安裝(hadoop 使用者登入)
(以Centos 6.5 已經編譯好的 安裝包(centos-6.5-hadoop-2.6.4.tar.gz 下載地址:
https://download.csdn.net/download/sq347216161/10308361
)為例) 
自己編譯安裝包方法教程文件: https://download.csdn.net/download/sq347216161/10308365
5.1 上傳安裝包 centos-6.5-hadoop-2.6.4.tar.gz
5.2   解壓安裝包
#建立資料夾: mkdir apps
#解壓 tar -zxvf centos-6.5-hadoop-2.6.4.tar.gz -C apps/
5.3 修改配置檔案(5個):
          cd apps/hadoop-2.6.4/etc/hadoop/

   備註:mapred-site.xml 解壓後原始名為:mapred-site.xml.template 
   改名:mv mapred-site.xml.template mapred-site.xml
  5.3.1:vi hadoop-env.sh

  5.3.2: vi core-site.xml

<!-- 指定HADOOP所使用的檔案系統schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop4:9000</value>
</property>
<!-- 指定hadoop執行時產生檔案的儲存目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>
 5.3.3:vi hdfs-site.xml 



<!-- 指定HDFS副本的數量 預設3-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- secondNameNode 地址-->
<property>
<name>dfs.secondary.http.address</name>
<value>192.168.2.104:50090</value>
</property>
 5.3.4:vi mapred-site.xml



<!-- 指定mr執行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5.3.5:vi yarn-site.xml

<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop4</value>
</property>
<!-- reducer獲取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
5.4 將hadoop新增到環境變數:vi /etc/profile

   重新整理環境變數配置:source /etc/profile
5.5 格式化namenode(是對namenode進行初始化):hadoop namenode -format
5.6 在其他機器上完成以上配置(4配置ssh免密登入不用),可以直接運用scp命令進行拷貝
5.7 配置hadoop叢集啟動: cd /home/hadoop/apps/hadoop-2.6.4/etc/hadoop
vi slaves

5.8 啟動hadoop 叢集
start-dfs.sh
start-yarn.sh 
檢視程序:jps


檢視其他機器程序:jps

5.9 瀏覽器檢視管理介面
http://hadoop4:50070/    (HDFS管理介面)

http://hadoop4:8088/   (MR管理介面)