1. 程式人生 > >大資料面試題之Hadoop叢集搭建步驟

大資料面試題之Hadoop叢集搭建步驟

一、開啟需要搭建Hadoop叢集的主從節點伺服器 ,配置好靜態IP、主機名hostname、主機IP對映檔案hosts、關掉防火牆

二、通過遠端登入工具(我用的是SecureSRT) 登入到Linux系統,登入前需要在Windows系統中C:\Windows\System32\drivers\etc目錄下的hosts中配置好Linux系統的ip地址和主機名,要不然遠端登入工具無法連線到Linux系統

三、登入到Linux系統之後使用su命令切換到root使用者下,同步主從節點伺服器的系統時間、靜態IP、hostname、IP地址主機對映檔案,關掉防火牆。如下圖,在SecureSRT下面互動視窗選擇傳送互動到所有標籤可以同時操作主從節點。


四、配置免金鑰登入

五、利用檔案傳輸工具WinSCP將JDK、Hadoop安裝包傳送到主節點中

六、解壓JDK、配置JDK環境變數,使用source命令生效改動的.bash_profile檔案,用java -version檢查是否配置成功,如果成功將解壓後的JDK安裝檔案和.bash_profile檔案使用scp命令傳送到其他子節點

七、在主節點中解壓Hadoop安裝檔案,並配置hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site-template.xml檔案(複製mapred-site-template.xml並改名為mapred-site.xml)、slaves檔案

八、配置Hadoop啟動的系統環境變數,並將配置後的Hadoop檔案和.bash_profile檔案利用scp命令傳輸到其他從節點上,然後使環境變數生效,配置

九、建立資料目錄hadoopdata

十、啟動Hadoop叢集

    1、格式化檔案系統:在master節點上,用hdfs namenode -format命令

    2、啟動Hadoop:在master節點上,用start-all.sh命令

    3、用jps命令檢視程序是否啟動,master節點:Jps、ResourceManager、NameNode、SecondaryNameNode;slave節點:DataNode、NodeManager、Jps

    4、Web UI檢視叢集是否啟動成功:如果之前配置好主機名IP地址對映直接在瀏覽器中輸入“主節點主機名:9000”

    5、檢視Yarn是否正常啟動:“主節點主機名:18088”

    6、執行PI例項檢查叢集是否成功:hadoop jar hadoop- mapreduce-examples-2.5.1.jar pi 5 5