先配一個單個的hadoop叢集（虛擬機器有namenode、datanode ）

一、先安裝一臺乾淨的虛擬機器（Centos6.10）

1、先解決各種網路配置 2、主機名與IP對映 3、安裝jdk 4、免密設定（具體的去我部落格裡面找一下） 1）安裝jre或jdk

rpm -ivh jdk-8u131-linux-x64.rpm

2） 安裝hadoop

  ·(1)	tar -zxvf hadoop-2.8.5.tar.gz -C /usr/hadoop/
  		(安裝rmp不需要配置java的環境變數)
  ·(2)	【刪除doc目錄】

3)Hadoop環境變數

1)	   84  vi /etc/profile
 

export HADOOP_HOME=/usr/apps/hadoop/hadoop-2.8.5
#export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$PATH
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
 

② 驗證環境變數

2)	   87  source /etc/profile
3)	   89  echo $HADOOP_HOME

HDfs 修改核心配置檔案引數： （1）指定hadoop的預設檔案系統為：hdfs （2）指定hdfs的namenode節點為那臺機器 （3）指定namenode軟體儲存元資料的本地目錄 （4）指定datanode軟體存放檔案塊的本地目錄

程式碼

[[email protected] hadoop]# vi hadoop-env.sh 
[[email protected] hadoop]# vi core-site.xml 
[[email protected]
 
 hadoop]# vi hdfs-site.xml

witch java–>檢視java的安裝目錄

export JAVA_HOME=/usr/java/default

2 修改core-site.xml

 <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000/</value>
   </property>

3 修改htfs-site.xml

		<property>
                <name>dfs.replication</name>
                <value>1</value>    //指定dfs副本數可以改 其他的如3、2
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/apps/hadoop/hadoop-2.8.5/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/apps/hadoop/hadoop-2.8.5/dfs/data</value>
        </property>

4、Namenodee 格式化 進入hadoop下的bin目錄 ./hadoop namenode-format(建立一個全新的目錄)

在 sbin下執行start-dfs.sh

二、配置叢集

1、若一個主機中的配好了 克隆三到兩個和上面一樣的主機 修改網路配置（我部落格有修改講解） 在Master中操作下面的 新增主機與ip對映

192.168.3.78 slaver1
192.168.3.82 Master
192.168.3.92 slaver2

進入 cd /usr/apps/hadoop/hadoop-2.8.5/etc/hadoop

（1）vi  slaves(另外兩臺slaver的slaves不需要修改)

Masterd的 Slaverr的

在windows下新增主機名與IP對映 即域名 C:\Windows\System32\drivers\etc 開啟hosts

2、增加下面的（兩臺slavers也要新增）修改htfs-site.xml

<property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>slaver1:50090</value>
  </property>

3、刪除dfs下的name中的current的所有內容 進入 dfs/name下 rm -rf current/

4Namenodee 格式化 進入hadoop下的bin目錄 ./hadoop namenode-format(建立一個全新的目錄)

6、說明叢集搭建好了