Liunx系統Hadoop叢集搭建配置
阿新 • • 發佈：2018-12-22
下面是hadoop安裝流程
- 進入下載頁面 http://archive.apache.org/dist/ 找到hadoop點選進入
2.在這個頁面點選common進去後可以看見各種版本的hadoop
3.在這裡我選擇安裝2.7.3版本的
4.點選進入下載tar.gz壓縮包
5.輸入命令把壓縮包解壓到/usr/local路徑
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local
6.配置網絡卡
[[email protected] ~]# vi /etc/udev/rules.d/70-persistent-net.rules
**注意:**上圖紅框裡的內容，克隆出來的虛擬機器會有兩個，一個結尾為eth0，一個為eth1，刪掉eth0的，保留eth1，然後修改eth1為eth0的即可。
修改ip
[[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
7.配置主機名：
[[email protected] ~]# vi /etc/sysconfig/network
8.關閉防火牆
臨時關閉防火牆命令：service iptables stop
永久關閉防火牆命令：chkconf iptables off
9.安裝ssh客戶端
yum install -y openssh-clients
10.修改hosts對映檔案
[[email protected] ~]# vi /etc/hosts
11.設定免密登入
我在這設定了三個節點：一臺為主節點二臺從節點
三個節點都得設定免密登入
[[email protected] ~]# ssh-keygen -t rsa
[[email protected] ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub 目的節點hostname
**注意:**傳送公鑰時得給當前節點也傳送一份
12.安裝jdk
1.去官網下載jdk~~~~~.tar.gz壓縮包 2:解壓檔案到安裝目錄 tar -zxvf /root/jdk-8u102-linux-x64.tar.gz -C /usr/local/ 3:配置環境變數 vi /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_102 export PATH=$PATH:$JAVA_HOME/bin 5:source /etc/profile
配置檔案修改
最簡化配置如下：
進入hadoop2.7.3目錄下etc目錄下的hadoop目錄
[[email protected] hadoop]# vi hadoop-env.sh
[[email protected] hadoop]# vi core-site.xml
Namenode在哪裡 ，臨時檔案儲存在哪裡
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://主節點hostname:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/tmp</value>
</property>
</configuration>
vi hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.7.3/data/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.7.3/data/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>主節點hostname:50090</value>
</property>
</configuration>
[[email protected] hadoop]#cp mapred-site.xml.tmp* mapred-site.xml
[[email protected] hadoop]#vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
[[email protected] hadoop]#vi yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主節點hostname</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
[[email protected] hadoop]#vi slaves
主節點hostname
從節點hostname
從節點hostname
配置hadoop環境變數
[[email protected] hadoop]#vi /etc/profile
啟動叢集
1.初始化
[[email protected] ~]#hadoop namenode -format
2.啟動HDFS
[[email protected] ~]#start-dfs.sh
3.啟動YARN
[[email protected] ~]#start-yarn.sh
4.檢查
登入網頁 主節點hostname:50070和8088進行檢測叢集是否啟動成功
50070:
8088:
