安裝jdk

開啟一個虛擬機器，右鍵單擊桌面選擇Open in Terminal，進入編輯介面：

1.假設使用者名稱是wxx(獲取root許可權)

(1)使wxx成為sudoer

       su 

cd  /etc

vi  sudoers

   i  進入編輯狀態

   在root ALL=(ALL) ALL的下一行編輯

     wxx  ALL=(ALL) ALL

   按ESC鍵

   按Shift + :

   輸入wq!

(2)建立hadoop資料夾

cd

mkdir  hadoop

將jdk-7u79-linux-x64安裝包複製到hadoop檔案目錄下（與windows環境下類似）。

(3)解壓jdk-7u79-linux-x64.gz檔案

cd

cd  hadoop

tar  -zxvf  jdk-7u79-linux-x64.gz

(4)設定jdk環境變數

cd

cd  hadoop

su

gedit  /etc/profile

進入後在最後一行新增以下指令：

export  JAVA_HOME=/home/wxx/hadoop/jdk1.7.0_79

export  PATH=$JAVA_HOME/bin:$PATH

export  CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

點選儲存後關閉，輸入以下指令使jdk生效：

source  /etc/profile

(5)檢查jdk是否安裝成功

java  -version

成功後顯示如下資訊：

java version"1.7.0_79"

Java(TM) SE RuntimeEnvironment (build 1.7.0_79-b15)

Java HotSpot(TM) 64-Bit ServerVM (build 24.79-b02, mixed mode)

四、建立叢集

1.克隆虛擬機器

將已經安裝好jdk的虛擬機器克隆兩個，建立三個虛擬機器的叢集。

2.修改後hostname

su

vi  /etc/sysconfig/network

將三個虛擬機器分別命名master、slave1、slave2

如圖：(完成後重啟虛擬機器reboot)

3.將三個虛擬機器的ip地址相互連線

首先必須確保虛擬機器聯網，如果NET模式連不上網，則選中橋接模式。

網路通暢後執行以下操作:

(1)分別對三個虛擬機器執行指令ifconfig，檢視各虛擬機器ip地址

(2)在master中執行以下指令

su

cd  /etc

gedit  /etc/hosts

進入編輯介面後按“IP地址   hostname”填寫資訊，如圖：

填寫完後按Save按鈕，關閉編輯頁。

(3)將配置好的檔案複製到slave1、slave2中

在master中執行以下指令：

scp  /etc/hosts  [email protected]:/etc/

scp  /etc/hosts  [email protected]:/etc/

(4)檢查各虛擬機器是否互聯

在master中執行以下指令：

ping  slave1

ping  slave2

連通後顯示如下：

 

4.配置SSH無金鑰登入

(1)關閉防火牆

對每個虛擬機器進行如下操作：

su

chkconfig  iptables  off

執行後重啟虛擬機器： reboot

(2)關閉防火牆後在master下執行以下指令：

cd

ssh-keygen  –t  rsa

cd  .ssh

cat  id_rsa.pub >>  authorized_keys

chmod  600 authorized_keys

scp  authorized_keys  [email protected]:~/.ssh/

scp  authorized_keys  [email protected]:~/.ssh/

(3)檢查無金鑰登入是否成功

ssh  slave1

ssh  slave2

ssh  master

成功後顯示如下：

 

5.安裝並配置hadoop-2.6.4(在master中)

(1)將hadoop-2.6.4.tar.gz安裝包複製到hadoop檔案目錄下（與windows環境下類似）。

(2)解壓hadoop-2.6.4.tar.gz

cd

cd  hadoop

tar  -zxvf  hadoop-2.6.4.tar.gz

(3)配置hadoop-2.6.4的各項檔案

cd

cd  hadoop/hadoop-2.6.4

cd  etc/hadoop

gedit  hadoop-env.sh     

在最後一行新增:export JAVA_HOME=/home/wxx/hadoop/jdk1.7.0_79

gedit  core-site.xml

新增程式碼：

<property>

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

<final>true</final>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/wxx/hadoop/tmp</value>

</property>

<property>

<name>ds.default.name</name>

<value>hdfs://master:54310</value>

<final>true</final>

</property>

gedit  hdfs-site.xml

新增程式碼：

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/wxx/hadoop/dfs/name</value>

<final>true</final>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/wxx/hadoop/dfs/data</value>

<final>true</final>

</property>

<property>        

<name>dfs.replication</name>

<value>2</value>

</property>

gedit  mapred-site.xml

（注意：必須先複製mapred-site.xml.template檔案更名為mapred-site.xml）

新增程式碼：

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

gedit  yarn-site.xml

新增程式碼：

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property> 

<property>

  <name>yarn.resourcemanager.hostname</name>

<value>master</value>

</property>

<property>

 <name>yarn.resourcemanager.address</name>

 <value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

gedit  master

新增程式碼：

master

gedit  slaves

新增程式碼：

master

slave1

slave2

(4)將配置好的檔案複製到slave1、slave2中

cd

cd  hadoop

scp  -r  hadoop-2.6.4 slave1:~/hadoop

scp  -r  hadoop-2.6.4  slave2:~/hadoop

(5)啟動叢集

cd

cd  hadoop/hadoop-2.6.4

bin/hdfs  namenode  -format    

// 格式化namenode

sbin/start-dfs.sh         //如果不能執行就是許可權問題需要給安裝目錄開通許可權

sbin/start-yarn.sh

sbin/hadoop-daemon.sh  start  secondarynamenode

(6)檢查叢集情況

jps (master 出現這幾個說明安裝成功！！！)

 

jps(slave1、slave2 出現一下出現下圖)

 

1、先安裝zookeeper,再安裝hbase，重中之重是先把三個主機的防火牆關掉，不然你會發現怎麼都搞不定的；

root賬戶下，

service iptables stop(關閉防火牆立即生效，但重啟後無效)

chkconfig iptables off(關閉防火牆重啟生效，但不會立即生效)

建議兩條命令都執行一遍，當然之前關過的，不必擔心了。

2、tar -zxvf zookeeper-*.gz(*是版本號，自己補齊) ,

然後在conf目錄下，

1)     cp zoo-simple.cfg zoo.cfg

2)     mkdirdata

3)     touchdata/myid  (myid檔案裡寫上server序號)

4)     gedit zoo.cfg

改dataDir=/home/cc/hadoop/zookeeper-3.4.9/data/ (安裝目錄)        

在尾部新增三行：

server.0=master:2888:3888

server.1=slave1:2888:3888

server.2=slave2:2888:3888

這裡的2888是leader的port,3888是follower的port。可以是其他值。

       5)然後

#scp -r ~/zookeeper-*slave1:~/hadoop

scp -r ~/zookeeper-3.4.9slave1:~/hadoop

#scp -r ~/zookeeper-*slave2:~/hadoop

scp -r ~/zookeeper-3.4.9slave2:~/hadoop

6)需要在/home/cc/hadoop/zookeeper-3.4.9/data/myid（myid是新建的）

master裡面myid寫0

slave1裡面myid寫1

slave2裡面myid寫2

3、安裝hbase,

tar -zxvf hbase-*.gz,

①在conf/hbase-env.sh中，新增

export JAVA_HOME=/home/cc/hadoop/jdk1.8.0_121/（你的JDK目錄）還有

export HBASE_MANAGES_ZK=false

這句話的意思是不使用hbase自帶的zookeeper,其實這兩句話

       都是有的，被註釋了，但取值可能是不一樣的；

②在conf/hbase-site.xml中

configuration標籤之間新增如下程式碼：

<property>

<name>hbase.rootdir</name>

<value>hdfs://master:9000/hbase</value>

  <!--hbase目錄的位置，開啟之後，你會發現eclipse的hadoop目錄裡邊多了個hbase目錄-->

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

  <!--分散式叢集-->

</property>

<property>

     <name>hbase.zookeeper.quorum</name>

<value>master:2181,slave1:2181,slave2:2181</value>

  <!--這是叢集裡邊的機器-->

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

  <!---->

</property>

       ③在conf/regionservers檔案裡邊寫入

master

slave1

slave2

兩個從屬機的名稱，這個是連線遠端伺服器的名單，因為，我們一般是在master上開啟hbase的，要遠端連線另外兩臺的。

       ④同樣的

#scp -r ~/hbase-* slave1:~/hadoop

scp -r hbase-1.2.5 slave1:~/hadoop

#scp -r ~/hbase-* slave2:~/hadoop

scp -r hbase-1.2.5 slave2:~/hadoop

(注意替換)

!!!配置zookeeper、hbase的PATH，

vi /etc/profile(3個虛擬機器一起新增) 

新增

exportJAVA_HOME=/home/cc/hadoop/jdk1.8.0_121

exportPATH=$JAVA_HOME/bin:$PATH

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportHADOOP_HOME=/home/cc/hadoop/hadoop-2.6.5/

exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

exportZOOKEEPER_HOME=/home/cc/hadoop/zookeeper-3.4.9/

exportPATH=$ZOOKEEPER_HOME/bin:$PATH

exportHBASE_HOME=/home/cc/hadoop/hbase-1.2.5/

exportPATH=$HBASE_HOME/bin:$PATH

scp -r  /etc/profile  slave1:/etc/profile

scp -r   /etc/profile   slave2:/etc/profile

source   /etc/profile

重啟

4、啟動叢集，啟動順序hadoop->zookeeper->hbase

1）start-all.sh（啟動hadoop叢集）

2）zkServer.sh start(每臺機器都要執行該命令)然後你可以檢視

zkServer.sh status  （會顯示是leader還是follower,（我的是slave1是leader,哪個是leader不要緊的)然後執行）

// zkCli.sh  -server master:2181,slave1:2181,slave2:2181(2181是zookeeper的監聽埠)

3）start-hbase.sh   （可能要等上一分鐘）

4）jps

出現：

3650 DataNode

3986 ResourceManager

3812 SecondaryNameNode

4421 QuorumPeerMain

4744 Jps

3544 NameNode

4571 HMaster

4700 HRegionServer

4094 NodeManager

5）hbaseshell

出現：（成功！！！）

2017-04-1719:29:25,502 WARN  [main]util.NativeCodeLoader: Unable to load native-hadoop library for your platform...using builtin-java classes where applicable

SLF4J:Class path contains multiple SLF4J bindings.

SLF4J:Found binding in[jar:file:/home/cc/hadoop/hbase-1.2.5/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J:Found binding in[jar:file:/home/cc/hadoop/hadoop-2.6.5/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J:See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

SLF4J:Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

HBaseShell; enter 'help<RETURN>' for list of supported commands.

Type"exit<RETURN>" to leave the HBase Shell

Version1.2.5, rd7b05f79dee10e0ada614765bb354b93d615a157, Wed Mar 1 00:34:48 CST 2017

hbase(main):001:0>