hadoop 偽分散式安裝
0. 關閉防火牆
重啟後失效
service iptables start ;#立即開啟防火牆,但是重啟後失效。
service iptables stop ;#立即關閉防火牆,但是重啟後失效。
重啟後生效
chkconfig iptables on ;#開啟防火牆,重啟後生效
chkconfig iptables off ;#關閉防火牆,重啟後生效
1. 配置主機
注意安裝hadoop的叢集主機名不能有下劃線!!不然會找不到主機!無法啟動!
配置主機名
# vim /etc/sysconfig/network
例如:
NETWORKING=yes
HOSTNAME=hadoop01
# source /etc/sysconfig/network
2. 配置Hosts
# vim /etc/hosts
填入以下內容:
IP地址 hadoop01
其他主機和ip對應資訊。。。
注意:如果是Centos7,那麼需要再編輯/etc/hostname檔案,將其中的內容改為指定的主機名
3. 配置免密碼互通
生成自己的公鑰和私鑰,生成的公私鑰將自動存放在/root/.ssh目錄下。
[[email protected] software]# ssh-keygen
把生成的公鑰copy到遠端機器上
[[email protected]
例如:
[roo[email protected] software]# ssh-copy-id [email protected]
此時在遠端主機的/root/.ssh/authorized_keys檔案中儲存了公鑰,在known_hosts中儲存了已知主機資訊,當
再次訪問的時候就不需要輸入密碼了。
$ ssh [host]
通過此命令遠端連線,檢驗是否可以不需密碼連線
不是空格,是回車!打錯字了!
重啟計算機 reboot
4. 安裝JDK
5. 安裝hadoop
通過fz將hadoop安裝包上傳到linux
解壓安裝包 tar -zxvf [hadoop安裝包位置]
[[email protected] hadoop-2.7.1]# cd ./etc/hadoop/
[[email protected] hadoop]# vim hadoop-env.sh
[[email protected] hadoop]# source hadoop-env.sh
[[email protected] hadoop]# vim core-site.xml
<!-- 指定HDFS中的管理節點 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> </property> <!-- 指定儲存位置 --> <property> <name>hadoop.tmp.dir</name> <value>/home/software/hadoop-2.7.1/tmp</value> </property>
[[email protected] hadoop]# vim hdfs-site.xml
<!-- hdfs中的複本數量 --> <!-- 在偽分散式中,複本數量必須為1 --> <property> <name>dfs.replication</name> <value>1</value> </property>
[[email protected] hadoop]# cp mapred-site.xml.template mapred-site.xml
[[email protected] hadoop]# vim mapred-site.xml
<!-- 在Hadoop的2.0版本中,MapReduce是基於Yarn執行 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
[[email protected] hadoop]# vim yarn-site.xml
<property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
[[email protected] hadoop]# vim slaves
[[email protected] hadoop]# vim /etc/profile
export HADOOP_HOME=/home/software/hadoop-2.7.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[[email protected] hadoop]# source /etc/profile
[[email protected] hadoop]# hadoop namenode -format
[[email protected] hadoop]# start-all.sh
19. 如果啟動成功,可以在瀏覽器中輸入地址:50070訪問hadoop的頁面