1. 程式人生 > >Hadoop的偽分散式搭建

Hadoop的偽分散式搭建

已正確安裝jdk環境

  JDK測試安裝成功:
  >java -version

解壓Hadoop,建議解壓目錄:/usr/local下

免密登陸設定(如果不加免密操作,每次啟動和關閉會有多次輸入密碼過程):

   >ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   >cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
   >ssh localhost

執行結果
//修改主機名
>vim /etc/hostname
Master
//修改host
>vim /etc/host
加入虛擬機器ip

建立三個資料夾

 >mkdir /usr/local/hadoop/tmp
 >mkdir -p /usr/local/hadoop/hdfs/name
 >mkdir -p /usr/local/hadoop/hdfs/data

配置Hadoop環境變數

 >vim ~/.bash_profile
   HADOOP_HOME=/hadoop解壓路徑
   PATH=$PATH:$HADOOP_HOME/bin
 >source ~/.bash_profile

進入到Hadoop解壓路徑進行配置引數修改

1.配置hadoop-env.sh    //此處要注意是否存在多個檔案情況
>vim hadoop-env.sh
 export JAVA_HOME=JDK路徑
2.配置yarn_env.sh
>vim yarn_env.sh
 export JAVA_HOME=jdk路徑
3.配置核心配置檔案:core-site.xml
>vim core-site.xml
    <property>
          <name>fs.defaultFS</name>
          <value>hdfs://Master:9000</value>
    </property>
    <property>
          <name>hadoop.tmp.dir</name>
          <value>tem資料夾路徑</value>
    </property>
 4.配置底層儲存:hdfs-site.xml
 >vim hdfs-site.xml
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/hdfs/name資料夾絕對路徑</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/hdfs/data資料夾絕對路徑</value>
    </property>
   //副本個數
   <property>
            <name>dfs.replication</name>
            <value>1</value>   //預設是3,偽分散式設定1即可
   </property>
 5.mapred中配置yarn框架(確認檔案格式)
 >mv mapred-site.xml.template mapred-size.xml
 >vim mapred-site.xml
    <property>
           <name>mapreduce.framwork.name</name>
           <value>yarn</value>
    </property>
 6.yarn配置mapred框架shuffle
 >vim yarn-site.xml
    <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
    </property>

進行格式化(如果修改配置檔案則需要重新格式化)

 >hadoop namenode -format

啟動hadoop

 >cd sbin
 >./start-all.sh

檢視程序

 >jps

訪問:

 ip:8088
 檢視防火牆:
 >firewall -cmd --state
 關閉防火牆:
 >stop firewalld.service

在這裡插入圖片描述