hadoop實戰(二)ubuntu18.04搭建hadoop叢集
阿新 • • 發佈：2018-12-11
一、 安裝JDK
官網下載jdk壓縮包並解壓， vim /etc/proflie 或者修改vi ~/.bashrc 加上如下：export JAVA_HOME=/home/hadoop/jdk1.8.0_161
export HADOOP_HOME=/home/hadoop/hadoop-2.9.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
二、配置ssh免密登入
cd ~/.ssh
ssh-keygen -t rsa （四個回車）
執行完這個命令後，會生成兩個檔案id_rsa（私鑰）、id_rsa.pub（公鑰）
將公鑰拷貝到要免密登陸的目標機器上
ssh-copy-id localhost（目標主機地址）
三、修改hosts
為了方便使用，這裡手動新增兩個域名解析，vi /etc/hosts 192.168.206.131 mini1 192.168.206.132 mini2 192.168.206.130 mini3 192.168.206.134 mini4
四、配置hadoop
首先應該下載壓縮包 http://archive.apache.org/dist/hadoop/core/ ，下載需要的版本然後解壓，注意：hadoop2.x的配置檔案$HADOOP_HOME/etc/hadoop，進入到目錄中 1、hadoop-env.sh，知道jdk路徑 vim hadoop-env.sh
#第27行
export JAVA_HOME=/home/hadoop/jdk1.8.0_161
2、core-site.xml
3、hdfs-site.xml<!-- 指定HADOOP所使用的檔案系統schema（URI），HDFS的老大（NameNode）的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://mini1:9000</value> </property> <!-- 指定hadoop執行時產生檔案的儲存目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.9.1/hadoopdata</value> </property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>mini1:50090</value>
</property>
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr執行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mini1</value>
</property>
<!-- reducer獲取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
hdfs namenode -format (hadoop namenode -format)
先啟動HDFS
sbin/start-dfs.sh
再啟動YARN
sbin/start-yarn.sh
使用jps命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
http://192.168.206.101:50070 （HDFS管理介面）
http://192.168.206.101:8088 （MR管理介面）