hadoop學習第二天~Hadoop2.6.5完全分散式叢集搭建和測試
阿新 • • 發佈：2019-01-09
環境配置：
系統 centos7
節點
192.168.1.111 namenode
192.168.1.115 datanode2
192.168.1.116 datanode3java 環境 : jdk-8u101-Linux-x64.gz
hadoop 版本 : hadoop-2.6.5安裝步驟
1.安裝虛擬機器系統，並進行準備工作（可安裝一個然後克隆）
請自行百度，需要設定固定ip
2.修改各個虛擬機器的hostname和host
#修改hostname的指令：
sudo gedit /etc/hostname
#修改hosts指令： 3.建立使用者組和使用者
建立hadoop 使用者組和使用者
sudo groupadd hadoop
useradd -g haddoop hadoop
編輯許可權
sudo vi /etc/sudoers
在root ALL=(ALL:ALL) ALL下新增
hadoop ALL=(ALL:ALL) ALL4、配置虛擬機器網路，使虛擬機器系統之間以及和host主機之間可以通過相互ping通。
分別以剛剛建立的hadoop使用者重新登入系統，以後的操作都以hadoop使用者登入。
ping +主機名
ping datanode2
ping datenode35.安裝jdk和配置環境變數，檢查是否配置成功
1）下載jdk安裝包（自行百度），並將安裝包拖入到虛擬機器當中
2）通過cd命令進入到安裝包的當前目錄，利用如下命令進行解壓縮。
tar -zxvf jdk.....(安裝包名稱)
3）利用如下命令將解壓後的資料夾移到/usr目錄下
注意，這樣移動到/usr以後就沒有jdk1.8...這個目錄了，是將這個目錄下的所有檔案全部移動到/usr/java下，
mv jdk1.8 6、配置ssh，實現節點間的無密碼登入 ssh node1/2指令驗證時候成功
在各個節點上執行
ssh-keygen -t rsa
在namenode
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
上傳到各個datanode節點
scp authorized_keys root@datanode2:~/.ssh/authorized_keys
scp authorized_keys root@datanode3:~/.ssh/authorized_keys
修改各臺主機上authorized_keys檔案的許可權：
所有機器上，均執行命令：
chmod 600 .ssh/authorized_keys
檢查是否能免密登入到各個節點
ssh datanode2
ssh datanode3 7、master配置hadoop，並將hadoop檔案傳輸到node節點
1）解包移動
#解壓hadoop包
tar -zxvf hadoop...
#將安裝包移到/usr目錄下
mv hadoop... /usr/local/hadoop-2.6.5
2）新建資料夾
#在/usr/local/hadoop目錄下新建如下目錄(root)
mkdir dfs
mkdir dfs/name
mkdir dfs/data
mkdir tmp
3)配置檔案：hadoop-env.sh(檔案都在/usr/hadoop/etc/hadoop中)
修改JAVA_HOME值（export JAVA_HOME=/usr/java）
4)配置檔案：yarn-env.sh
修改JAVA_HOME值（export JAVA_HOME=/usr/java）
5)配置檔案：slaves
將內容修改為：
datanode2
datanode3
6)配置檔案：core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-2.6.5/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>
7)配置檔案：hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>namenode:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-2.6.5/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-2.6.5/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
8)配置檔案：mapred-site.xml
先建立然後編輯
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vi etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>namenode:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>namenode:19888</value>
</property>
</configuration>
9)配置檔案：yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class
</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>namenode:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>namenode:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>namenode:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>namenode:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>namenode:8088</value>
</property>
</configuration>
10)將hadoop-2.6.5傳輸到datanode2和datanode3 usr/local/hadoop-2.6.5目錄,（如果傳輸時報錯說 ：許可權拒絕，先把檔案傳送到非/usr目錄下，然後在node上把這個檔案再移動到/usr/local/hadoop-2.6.5）
scp -r /usr/local/hadoop-2.6.5 [email protected]:/usr/local/hadoop-2.6.5
11）配置環境變數
#編輯/etc/profile
sudo vi /etc/profile
#以上已經新增過java的環境變數,在後邊新增就可以
#hadoop
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/bin
執行
source /etc/profile
12）啟動hadoop,進入hadoop安裝目錄
bin/hdfs namenode -format
sbin/start-all.sh
13)啟動後分別在master, node下輸入jps檢視程序
看到下面的結果，則表示成功。
8、配置環境變數，並啟動hadoop，檢查是否安裝成功，執行wordcount檢查是否成功。
進入本地hadoop目錄（/usr/hadoop）
1、 bin/hdfs dfs -mkdir -p /data/input在虛擬分散式檔案系統上建立一個測試目錄/data/input
2、 hdfs dfs -put README.txt /data/input 將當前目錄下的README.txt 檔案複製到虛擬分散式檔案系統中
3、 bin/hdfs dfs-ls /data/input 檢視檔案系統中是否存在我們所複製的檔案
4、 執行如下命令向hadoop提交單詞統計任務
進入jar檔案目錄，執行下面的指令。
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /data/input /data/output/result
檢視result，結果在result下面的part-r-00000中
hdfs dfs -cat /data/output/result/part-r-00000