cdh5.7.0偽分散式叢集之hadoop安裝
基本環境及軟體：
| 軟體版本 | 軟體包 |
|---|---|
| centos-6.4 | |
| JDK-1.8 | jdk-8u191-linux-x64.tar.gz |
| hadoop-2.6.0 | hadoop-2.6.0-cdh5.7.0.tar.gz |
軟體安裝包官網下載地址 ：http://archive-primary.cloudera.com/cdh5/cdh/5/
設定免密碼登入
1.生成本機的公鑰，過程中不斷敲回車即可，ssh-keygen命令預設會將公鑰放在/root/.ssh目錄下
# ssh-keygen -t rsa
2.將公鑰複製為authorized_keys檔案，此時使用ssh連線本機就不需要輸入密碼了
# cd /root/.ssh
# cp id_rsa.pub authorized_keys
3.設定ip和hostname的對應關係
# vi /etc/hosts
192.168.0.104 bigdata
4.配置是否配置成功
# ssh bigdata
安裝JDK1.8
1.在虛擬機器中的建立app目錄，存放安裝的軟體
# cd /usr/local/
# mkdir app
2.將下載好的jdk-8u191-linux-x64.tar.gz安裝包上傳到虛擬機器的 /use/local/app/ 目錄下
3.對安裝包進行解壓縮
# tar -zxvf jdk-8u191-linux-x64.tar.gz
4.配置環境變數，
# vi /etc/profile
#set java environment
export JAVA_HOME=/usr/local/app/jdk1.8.0_191
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
5.使環境變數生效
# source /etc/profile
6.驗證是否安裝成功
# java -version
# java
# javac
安裝hadoop
1、將下載好的hadoop-2.6.0-cdh5.7.0.tar.gz，上傳到虛擬機器的/usr/local/app目錄下。（http://archive.cloudera.com/cdh5/cdh/5/）
2、將hadoop包進行解壓縮：
# tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz
3、對hadoop目錄進行重新命名：
# mv hadoop-2.6.0-cdh5.7.0 hadoop-2.6.0
4、配置hadoop相關環境變數
# vi ~/.bashrc
#set hadoop environment
export HADOOP_HOME=/usr/local/app/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# source ~/.bashrc
5、建立/usr/local/app/data目錄 ，並且進入到/usr/local/app/hadoop-2.6.0/etc/hadoop 目錄下
# mkdir /usr/local/app/data
# cd /usr/local/app/hadoop-2.6.0/etc/hadoop
6.修改hadoop-env.sh
export JAVA_HOME=/usr/local/app/jdk1.8.0_191
export HADOOP_PID_DIR=/usr/local/app/data/tmp
7.配置mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/usr/local/app/data/tmp
8.配置yarn-env.sh
export YARN_PID_DIR=/usr/local/app/data/tmp
9.配置core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://bigdata:9000</value>
</property>
10.配置hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/usr/local/app/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/app/data/datanode</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/usr/local/app/data/tmp</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
11.配置mapred-site.xml，
# cp mapred-site.xml.template mapred-site.xml
# vim mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
12.配置yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
啟動hdfs叢集
1、格式化namenode：
# hdfs namenode -format
2、啟動hdfs叢集：
# start-dfs.sh
3、驗證啟動是否成功：
a. jps驗證：namenode、datanode、secondarynamenode
b.50070驗證埠：http://192.168.0.104:50070
c、讀寫操作測試驗證:
# vi hello.txt
hadoop hive spark
# hdfs dfs -mkdir /test
# hdfs dfs -put hello.txt /test/hello.txt
# hdfs dfs -text /test/hello.txt
啟動yarn叢集
1、啟動yarn叢集：
# start-yarn.sh
2、驗證啟動是否成功：
a.jps驗證：resourcemanager、nodemanager
b.8088埠驗證：http://192.168.0.104:8088
到此Hadoop偽分散式叢集安裝完成，有錯誤之處，請多多指教