1. 程式人生 > >hadoop 偽分散式安裝

hadoop 偽分散式安裝

0. 關閉防火牆

重啟後失效

service iptables start ;#立即開啟防火牆,但是重啟後失效。

service iptables stop ;#立即關閉防火牆,但是重啟後失效。

重啟後生效

chkconfig iptables on ;#開啟防火牆,重啟後生效

chkconfig iptables off ;#關閉防火牆,重啟後生效

1. 配置主機

注意安裝hadoop的叢集主機名不能有下劃線!!不然會找不到主機!無法啟動!

配置主機名

# vim /etc/sysconfig/network

例如:

NETWORKING=yes
HOSTNAME=hadoop01

# source /etc/sysconfig/network

2. 配置Hosts

# vim /etc/hosts

填入以下內容:

IP地址 hadoop01

其他主機和ip對應資訊。。。

注意:如果是Centos7,那麼需要再編輯/etc/hostname檔案,將其中的內容改為指定的主機名

3. 配置免密碼互通

生成自己的公鑰和私鑰,生成的公私鑰將自動存放在/root/.ssh目錄下。

[[email protected] software]# ssh-keygen

把生成的公鑰copy到遠端機器上

[[email protected]

software]# ssh-copy-id [user]@[host]

例如:

[roo[email protected] software]# ssh-copy-id [email protected]

此時在遠端主機的/root/.ssh/authorized_keys檔案中儲存了公鑰,在known_hosts中儲存了已知主機資訊,當

再次訪問的時候就不需要輸入密碼了。

$ ssh [host]

通過此命令遠端連線,檢驗是否可以不需密碼連線

不是空格,是回車!打錯字了!

重啟計算機 reboot

4. 安裝JDK

5. 安裝hadoop

通過fz將hadoop安裝包上傳到linux

解壓安裝包 tar -zxvf [hadoop安裝包位置]

[[email protected] hadoop-2.7.1]# cd ./etc/hadoop/

[[email protected] hadoop]# vim hadoop-env.sh

[[email protected] hadoop]# source hadoop-env.sh

[[email protected] hadoop]# vim core-site.xml

    <!-- 指定HDFS中的管理節點 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    <!-- 指定儲存位置 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/software/hadoop-2.7.1/tmp</value>
    </property> 

[[email protected] hadoop]# vim hdfs-site.xml

        <!-- hdfs中的複本數量 -->
        <!-- 在偽分散式中,複本數量必須為1 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>    

[[email protected] hadoop]# cp mapred-site.xml.template mapred-site.xml

[[email protected] hadoop]# vim mapred-site.xml

        <!-- 在Hadoop的2.0版本中,MapReduce是基於Yarn執行 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>

[[email protected] hadoop]# vim yarn-site.xml

        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop01</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>    

[[email protected] hadoop]# vim slaves

 [[email protected] hadoop]# vim /etc/profile

export HADOOP_HOME=/home/software/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 [[email protected] hadoop]# source /etc/profile

 [[email protected] hadoop]# hadoop namenode -format

 [[email protected] hadoop]# start-all.sh

 

19.   如果啟動成功,可以在瀏覽器中輸入地址:50070訪問hadoop的頁面