1. 程式人生 > >Hadoop學習之Centos安裝Hadoop和配置

Hadoop學習之Centos安裝Hadoop和配置

一、確保Centos配置過JDK

二、解壓Hadoop(我是使用的虛擬機器,在官網上下載好了linux版本的之後,通過FTP傳到Home資料夾下的)

三、配置Hadoop

進入hadoop資料夾中的etc下修改配置檔案

1》先修改  hadoop-env.sh 檔案

將 export JAVA_HOME=${JAVA_HOME} 改為

export JAVA_HOME=/home/jdk/jdk1.8.0_171(jdk的路徑)

2》修改 core-site.xml

在節點<configuration>中間插入下面程式碼:

    
                <property>
                        <name>hadoop.tmp.dir</name> 
                        <value>/home/hadoopHome/tmp</value>
                </property> 
                 <property>                                                                                            
                      <name>fs.defaultFS</name>
                      <value>hdfs://hadoop:8020</value>
                  </property>

                                      

3》修改yarn-site.xml

在節點<configuration>中間插入下面程式碼:

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop</value>
        </property>
        <property>
               #指定nodemanager獲取資料的方式是shuffle         
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

4》修改mapred-site.xml

etc中是沒有mapred-site.xml這個檔案的,將mapred-site.xml.template 重新命名為 mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

同上寫入程式碼:

        <property>
                 #hadoop執行在yarn上               
                 <name>mapreduce.framework.name</name>
                 <value>yarn</value>
        </property>

5》修改 hdfs-site.xml

        <property>
                # 指定HDFS儲存資料副本的數量,預設為3               
                 <name>dfs.replication</name>
                <value>1</value>
        </property>

三、將hadoop新增到系統變數裡

別忘了重啟profile

#source /etc/profile



格式化檔案系統(hdfs)

#hdfs namenode -format


has been successfully formatted 表示格式化成功了

啟動Hadoop

#進入sbin目錄下  ./start-all.sh