搭建叢集的模式有三種

	1.偽分散式:在一臺伺服器上,啟動多個執行緒分別代表多個角色(因為角色在叢集中使用程序表現的)
	2.完全分散式:在多臺伺服器上,每臺伺服器啟動不同角色的程序,多臺伺服器構成叢集
			node01:NameNode
			node02:SecondaryNameNode DataNode
			node03:DataNode
			node04:DataNode
	3.高可用的完全分散式
			node01:NameNode
			node02:SecondaryNameNode DataNode
			node03:DataNode NameNode
			node04:DataNode

這篇文章是對偽分散式叢集的搭建,採用的是centOS6.5版本的系統

1、Linux基本環境配置

1.1修改主機名

vim /etc/hosts
修改 HOSTNAME=node01
vim /etc/sysconfig/network
修改 
127.0.0.1 localhost node01
::1 localhost node01

1.2Java環境的配置

	因為Linux系統自帶Java,但是它自帶Java的版本很低,故我們
	刪除低版本的Java,用壓縮包安裝高版本的Java我使用的是1.8版本,
	低版本的Java會對我們的操作進行影響
	1.刪除系統自帶的Java
	2.解壓縮新版的Java,放入某資料夾例如/opt/software/
	3.配置全域性環境變數(為每個使用者設定環境資訊)
1.解除安裝rpm安裝的jkd版本 
檢視安裝的jdk: rpm -qa|grep jdk 
可能看到如下類似的資訊:  jdk-1.6.0_22-fcs 
解除安裝: rpm -e --nodeps jdk-1.6.0_22-fcs  
2.tar -zxvf jkk-8u151-linux-x64.tar.gz
3.vim /etc/profile
	新增
	 export JAVA_HOME=/opt/software/jdk1.8.0_151
	 export PATH=$PATH:$JAVA_HOME/bin 
4.source /etc/profile 重新整理變數
	測試Java是否安裝成功 java -version  看是否顯示版本號

2.Hadoop的安裝和環境變數

	1.解壓Hadoop於某個路徑,例如/opt/software,tar -zxvf xxx
	2.我此次配置的是.bashrc環境變數(專屬於個人的bash shell資訊)
cd ~
vim .bashrc
export HADOOP_HOME=/hadoop/hadoop-2.7.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 
source .bashrc
		測試Hadoop     :echo ${HADOOP_HOME}

3.修改Hadoop的配置

3.1修改hdfs-site.xml配置檔案

 <!-- 指定HDFS副本的數量 -->
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
 <!-- 指定secondaryNameNode -->
<property>     
 <name>dfs.namenode.secondary.http-address</name>
     <value>node01:50090</value>
</property>

3.2修改core-site.xml配置檔案

<property>
 <!-- 指定HADOOP所使用的檔案系統schema(URI),HDFS的老大(NameNode)的地址 -->
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
</property>
 <!-- 指定hadoop執行時產生臨時檔案的儲存目錄 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/local</value>
</property>

3.3修改slaves配置檔案

<!-- 這是告訴hadoop程序哪些機器是從節點 -->
node01

3.4hadoop-env.sh的Java_home修改

sudo vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh


# 修改JAVA_HOME的環境配置為如下所示:

export JAVA_HOME=/opt/software/jdk1.8.0_151

4.HDFS的啟動

	格式化NameNode(建立目錄以及檔案):hdfs namenode -format
	啟動HDFS   start-dfs.sh

至此為止,已經配置好了偽分散式叢集環境