(一)大資料-Hadoop2.7.3偽分佈搭建
關閉防火牆
關閉當前登陸防火牆
檢視防火牆狀態 service iptables status
關閉防火牆 service iptables stop
關閉系統防火牆(即系統啟動時,不開啟防火牆)
檢視系統啟動 chkconfig --list
關閉系統啟動防火牆 chkconfig iptables off
建立Hadoop使用者
新增使用者 useradd hadoop
設定密碼 passwd hadoop
hadoop使用者新增sudo許可權
編輯檔案 vi /etc/sudoers
末尾行追加:
hadoop ALL=(ALL) ALL
強制儲存退出: wq!
修改hosts檔案
vim /etc/hosts
為:
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1 localhost
192.168.3.101 node01
切換到hadoop使用者
建立資料夾 mkdir db
將下載的hadoop安裝ftp到該目錄下
安裝並配置jdk1.7+
建議:將JAVA_HOME配置到當前家目錄(/home/hadoop)下的.bashrc檔案,該jdk只對當前使用者有效
安裝ssh
檢視系統是否安裝ssh rpm -aq | grep ssh
如果為安裝:使用yum 安裝
下載hadoop-2.7.3地址
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/
解壓 hadoop-2.7.3.tar.gz
tar -zvxf hadoop-2.7.3.tar.gz
配置hadoop
進入配置檔案目錄
cd db/hadoop-2.7.3/etc/hadoop/
1.配置 hadoop-env.sh
修改jdk目錄: export JAVA_HOME=/usr/java/jdk1.7.0_67
2.配置 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<!--hdfs訪問地址-->
<value>hdfs://192.168.3.101:9000</value>
</property>
<property>
<!--hadoop執行時產生的臨時檔案存放目錄-->
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/db/hadoop-2.7.3/tmp</value>
</property>
</configuration>
3.配置 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.配置 mapred-site.xml
複製檔案: cp mapred-site.xml.template mapred-site.xml
修改為:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.配置 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.3.101</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置HADOOP_HOME
編輯檔案: vi ~/.bashrc
配置:
export HADOOP_HOME=/home/hadoop/db/hadoop-2.7.3
source ~/.bashrc
格式namendoe
執行目錄: cd /home/hadoop/db/hadoop-2.7.3/bin
格式化命令: ./hdfs namenode -format
啟動
執行目錄:cd /home/hadoop/db/hadoop-2.7.3/sbin
啟動: ./start-all.sh
tip:
1.輸入密碼為當前使用者登入密碼(123456)
2.可以使用"jps"檢視啟動狀態
瀏覽器檢視:
All Applications: http://192.168.3.101:8088
HDFS : http://192.168.3.101:50070