1. 程式人生 > >hadoop完全分布式搭建

hadoop完全分布式搭建

spa 方便 color dfs 配置 啟動 ava 基礎環境 密碼登錄

Overview:過程有很多帖子都解釋了如何搭建,本文主要列舉需要做的事情,然後在文末提供一個非常詳細的搭建教程,方便大家使用。

我這裏是使用了3臺服務器搭建分布式平臺,每臺機子都需要配置java的開發環境,hadoop的四個XML文件,host名稱和profile配置文件,特別需要註意的是master節點需要在/etc/hadoop目錄下配置slave文件(配置節點信息,不然主機啟動,slave節點不會啟動),master節點需要配SSH免密碼登錄。

另外需要註意的是,每臺機子配的hadoop的環境其實是一模一樣的,裝好一臺,復制過去就行。master節點在加一些特殊配置就ok了

基礎環境

    Euler2.1 192.168.0.1 master

   Euler2.1 192.168.0.2 slave1

   Euler2.1 192.168.0.3 slave2

一、三臺機子都要配的JAVA,XML*4,host,profile

1.master節點先配一下java的環境,網上資料很多

2.先後配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、host、profile,具體參考文末給出的文檔

  3.分別從其他slave節點復制hadoop和java環境

      scp -r [email protected]:/root/zhn_hadoop/hadoop /root/zhn_hadoop/

二、master配置slave文件和免密登錄

  1.master節點在hadoop/etc/hadoop/slave文件需要配置主從信息

    192.168.0.1 master

    192.168.0.2 slave1

    192.168.0.3 slave2

  2.SSH免密登錄參考文末文件【配置SSH】

完全分布式搭建教程:

    

hadoop完全分布式搭建