一、安裝Maven

tar -xvzf apache-maven-3.5.2-bin.tar.gz

2.新增環境變數

vim ~/.bashrc

export MAVEN_HOME=/usr/local/src/apache-maven-3.5.2 export PATH=$PATH:$MAVEN_HOME/bin

儲存退出，source ~/.bashrc

3.驗證：輸入mvn -v

二、kafka安裝

1.下載並解壓wget http://mirrors.hust.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

 tar -xvzf kafka_2.11-1.0.0.tgz

2.新建logs目錄 mkdir logs

3.修改配置

cd config

vim server.properties

修改如下資訊

broker.id=0（第二臺機器就是1，第三臺是2）

advertised.listeners=PLAINTEXT://master:9092

log.dirs=/usr/local/src/kafka_2.11-1.0.0/logs

zookeeper.connect=master:2181,slave1:2181,slave2:2181

分發到其他兩臺機器上面

scp -rp kafka_2.11-1.0.0 slave1:/usr/local/src

改一下brokerid

4.新增環境變數

vim ~/.bashrc

export KAFKA_HOME=/usr/local/src/kafka_2.11-1.0.0 export PATH=$PATH:$KAFKA_HOME/bin

source ~/.bashrc

把環境變數分發到靈臺兩臺機器scp -rp ~/.bashrc slave1:~

5.驗證

到bin資料夾下，輸入kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

輸入jps

關閉kafka 使用bin/kafka-server-stop.sh 或者kill -9 埠號

6.簡單驗證kafka是否搭建成功

先把zookeeper啟動了 ./zkServer.sh start

測試kafka是否能夠正常收發訊息，開兩個終端，一個用來做producer發訊息一個用來做consumer收訊息，首先，先建立一個topic

./kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic testTopic

./kafka-topics.sh --describe --zookeeper master:2181 --topic testTopic

然後在第一個終端中輸入命令：

./kafka-console-producer.sh –broker-list master:9092 –topic testTopic

在第二個終端中輸入命令：

./kafka-console-consumer.sh –zookeeper 127.0.0.1:2181 –topic testTopic

如果啟動都正常，那麼這兩個終端將進入阻塞監聽狀態，在第一個終端中輸入任何訊息第二個終端都將會接收到。

三、HBASE安裝

1.下載和解壓

2.配置conf

修改資料夾 下hbase-env.sh的java環境

vim hbase-env.sh

修改如下：

export JAVA_HOME=/usr/local/src/jdk1.7.0_80/ export HBASE_CLASSPATH=/usr/local/src/hbase-1.2.6/conf

export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=256m -XX:MaxPermSize=1024m" export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=256m -XX:MaxPermSize=1024m" export HBASE_PID_DIR=/opt/data/hbase export HBASE_MANAGES_ZK=false 

這裡要說明一下HBASE_MANAGES_ZK這個引數，因為採用了自己的zookeeper，所以這裡設定為false，否則hbase會自己啟動一個zookeeper

3.修改hbse-site.xml

vim hbase-site.xml

<configuration>
    <property>
         <name>hbase.rootdir</name>
          <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
         <name>hbase.zookeeper.property.clientPort</name>
          <value>2181</value>
           <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect</description>
     </property>

    <property>
        <name>zookeeper.session.timeout</name>
        <value>120000</value>
   </property>
     <property>
             <name>hbase.master</name>
              <value>master:60000</value>
     </property>
     <property>
           <name>hbase.master.port</name>
           <value>60000</value>
      </property>
      <property>
           <name>hbase.cluster.distributed</name>
           <value>true</value>
      </property>
      <property>
            <name>hbase.zookeeper.quorum</name>
            <value>master,slave1,slave2</value>
       </property>
       <property>
             <name>zookeeper.znode.parent</name>
              <value>/hbase</value>
       </property>
       <property>
              <name>hbase.tmp.dir</name>
              <value>/root/hbase/tmp</value>
        </property>
        <property>
              <name>hbase.master.info.bindAddress</name>
              <value>master</value>
      </property>
 </configuration>

4.修改環境變數

vim ~/.bashrc

export HBASE_HOME=/usr/local/src/hbase-1.2.6 export PATH=$PATH:$HBASE_HOME/bin

5.測試

 ./start-hbase.sh

輸入 hbase shell