叢集規劃

注意:真實叢集搭建 NameNode獨佔一個資源 不和datanode一起
SecondaryNameNode 也一樣
每一個datanode配置一個nodemanager,ResourceManager 避開namenode和secondarynamendoe

基本搭建

cd	/opt/module/hadoop-2.7.2/etc/hadoop
vim core-site.xml  //配置namenode和臨時檔案的目錄

vim hdfs-site.xml //配置datanode的副本數和secondarynamenode

vim slaves

testnote01
testnote02
testnote03
 

配置yarn-site

配置 mapred-site.xml

檢視分發情況

回到主目錄將三個機器的data和logs幹掉

格式化叢集 格式化節點在namenode的節點上格式化

在namenode的叢集上啟動,且必須ssh免密登入配置完成

在namenode的機器上testnote01

start-dfs.sh 

hdfs叢集啟動完成

啟動yarn
yarn位於resourcemanager上 並且在testnote02的節點上