Hadoop2.7.7部署

一、VMware14安裝centos7（過程略）

二、配置Linux

1.關閉防火墻：

2.查看當前java版本，為openjdk版的

3.刪除openjdk

命令 rpm -qa | grep java 查找java相關文件

命令：rpm -e –nodeps 刪除系統自帶的java

4.安裝jdk

下載官方1.8jdk

命令rpm -ivh+文件名安裝jdk

安裝完成

4.下載hadoop：

官網下載並將下載好的hadoop上傳至虛擬機

5.繼續創建兩臺虛擬機

使用虛擬機的克隆功能將cMaster克隆兩份分別為Slave0，Slave1

克隆完成

6.分別修改主機名cMaster,Slave0,Slave1

vim /etc/hostname

7.添加域名映射：

ifconfig　　　　　　　#查看三個虛擬機的ip地址

vim /etc/hosts　　　 #添加三臺機器的域名映射

分別ping 不同的機器

Ping通完成

三、安裝hadooop

1.解壓hadoop

1 tar -zxvf hadoop-2.7.7.tar.gz

分別在三個機器上解壓hadoop

2.配置hadoop（三臺機器都要）

2.1 編輯文件

1 vim /home/krysent/hadoop-2.7
 
.7/etc/hadoop/hadoop-env.sh

添加 java路徑

2.2 在/home/krysent/hadoop-2.7.7/etc/hadoop/目錄下的

core-site.xml下的configuration標簽中添加：

<property>
       <name>hadoop.tmp.dir</name>
       <value>/home/krysent/cloudData</value>
  </property>
  <property>
       <name>fs.defaultFS</
 
name>
       <value>hdfs://cMaster:8020</value>
  </property>

2.3 在/home/krysent/hadoop-2.7.7/etc/hadoop/目錄下的

yarn-site.xml下的configuration標簽中添加：

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>cMaster</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

2.4 將/home/krysent/hadoop-2.7.7/etc/hadoop/目錄下的mapred-site-.xml.template重命名為mapred-site-.xml並在configuration標簽中添加：

<property>
       <name>mapreduce.farmework.name</name>
       <value>yarn</value>
</property>

四、啟動hadoop

1.主節點cMaster格式化：

/home/krysent/hadoop-2.7.7/bin/hdfs namenode -format

2.主節點cMaster啟動存儲主服務namenode和資源管理主服務resourcemanager:

1 /home/krysent/hadoop-2.7.7/sbin/hadoop-daemon.sh start namenode
3 /home/krysent/hadoop-2.7.7/sbin/yarn-daemon.sh start resourcemanager

3.從節點上啟動存儲從服務datanode和資源管理從服務nodemanager（Slave0和Slave1兩個都要）：

/home/krysent/hadoop-2.7.7/sbin/hadoop-daemon.sh    start  datanode
/home/krysent/hadoop-2.7.7/sbin/yarn-daemon.sh  start  nodemanager

五、測試hadoop：

[krysent@cMaster hadoop-2.7.7]$ /usr/java/jdk1.8.0_191-amd64/bin/jps
17826 Jps
9942 ResourceManager
8908 NameNode

[krysent@Slave0 hadoop]$ /usr/java/jdk1.8.0_191-amd64/bin/jps
15890 Jps
8501 DataNode
8684 NodeManager

[krysent@Slave1 hadoop-2.7.7]$ /usr/java/jdk1.8.0_191-amd64/bin/jps
8578 NodeManager
8707 DataNode
15764 Jps

火狐地址欄輸入cMaster:50070查看：

六、使用

　　1.集群裏創建in目錄

/home/krysent/hadoop-2.7.7/bin/hdfs dfs -mkdir /in

　　2.將本地文件上傳至hdfs

/home/krysent/bin/hdfs dfs -put /home/krysent/hadoop-2.7.7/etc/hadoop/* /in

　　3.使用示例程序WordCount計算數據

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /in /out/wc-01

火狐查看：

Centos7安裝部署Hadoop環境