以下給初次使用hadoop的朋友，快速搭建並啟動hadoop，記住需要修改的東西分別是“三個site，四個env，一個slaver”，所有配置文件都在$HADOOP_HOME/etc/hadoop/下

三個site.xml

core-site.xml

fs.defaultFS：namenode服務ip:port

hadoop.tmp.dir：臨時文件存放路徑，註意：此處一定要修改，否則默認存放在系統tmp路徑，數據會被系統刪除

mapreduce-site.xml

mapreduce.jobhistory.address：歷史服務地址

mapreduce.jobhistory.webapp.address：歷史服務web地址

mapreduce.framework.name：設置為yarn，yarn管理mapreduce

yarn-site.xml

yarn.nodemanager.aux-services：設置為mapreduce_shuffle，指定shuffe過程方式

yarn.resourcemanage.hostname：resourcemanage主節點，默認本機

yarn.log-aggregation-enable：true,false是否開啟日誌聚合

yarn.log-aggregation.retain-seconds：日誌聚合時間長讀

這是對於快速搭建可配可不配置的文件，當時比較常用也拿出來說明

hdfs-site.xml

dfs.replication：副本數默認3，基本原則是副本數不大於datanode節點數

dfs.namenode.secondary.http-address：配置secondarynamenode，歷史遺留問題，可配可不配，同樣可啟動可不啟動，一般不用

四個env.sh

這裏不一一寫出，記住env文件主要指定JAVA_HOME路徑，加入export JAVA_HOME=xxxxx 即可

一個slaver

slaver寫入datanode，nodemanager開啟節點地址，一個寫一行

當上訴所有配置文件都修改完之後，通過start-all.sh(windows下使用start-all.cmd)啟動hadoop，其中歷史服務和secondarynamenode需要單獨啟動，這裏並不詳說

namenode，resourcemanager的內部連接端口和外部訪問端口分別為

namenode 8020 50070

resoucemanager 8032 8088

通過namenode節點和resourcemanager節點的端口可分別從外部查看hadoop當前信息。

hadoop安裝配置——快速搭建hadoop