1. 程式人生 > >在Centos叢集上搭建Storm完全分散式環境

在Centos叢集上搭建Storm完全分散式環境

一、環境準備

  1. 叢集:三臺linux伺服器,系統不限寫部落格
  2. 三臺伺服器的zookeeper已安裝並處於執行階段
  3. 三臺伺服器的jdk1.8環境已安裝,如沒有,請參考我的部落格
  4. 叢集環境如下:
    #OShostnameipsoftwarenotes
    1centosmaster192.168.0.1   
    zookeeper
    storm
    主控節點
    2centosnode1192.168.0.2
    zookeeper
    storm
    工作節點
    3centosnode2192.168.0.3zookeeper
    storm
    工作節點
  5. hostname設定和相關免密登入請參考hadoop叢集搭建的設定

二、Storm安裝

2.1 下載storm

# wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar.gz

2.2 安裝

解壓縮到特定位置,我這裡選擇目錄位置為

/usr/local/storm

進入storm資料夾,使用下面命令建立一個storm臨時資料夾

cd /usr/local/storm
mkdir data

進入/usr/local/storm/conf下修改storm.yarm配置檔案

cd /usr/local/storm/conf
vim storm.yarm

修改對應部分如我的所示:


配置解釋:
  • storm.zookeeper.servers:表示zookeeper的叢集地址,如果Zookeeper叢集使用的不是預設埠,那麼還需要配置storm.zookeeper.port
  • storm.zookeeper.port: Zookeeper叢集的埠號
  • storm.local.dir: 用於配置Storm儲存少量檔案的路徑
  • nimbus.seeds: 用於配置主控節點的地址,可以配置多個

2.3 複製配置到另外的機器上

複製配置好的storm到其他兩臺主機:

scp -r usr/local/storm/ node1:usr/local/  
scp -r sr/local/storm/ node2:usr/local/ 

三、配置環境變數

vim /etc/profile

在文件的最下面新增如下配置

# storm
export STORM_HOME=/usr/local/storm
export PATH=$PATH:$STORM_HOME/bin

最後再使用命令

source /etc/profile

使得配置生效

注:所有節點都需要設定

四、啟動Storm

4.1 啟動主控節點

#主節點上執行
nohup $STORM_HOME/bin/storm nimbus &

4.2 啟動工作節點

#從節點上執行
nohup $STORM_HOME/bin/storm supervisor &

注意:有幾個從節點就要分別在從節點上執行上述程式碼

4.3 啟動管理頁面

#主控節點上執行
nohup $STORM_HOME/bin/storm ui &

4.4 在管理頁面上檢視Storm叢集的情況(檢視是否執行成功)

預設埠號8080.需要關閉防火牆或者開啟相應的埠號即可。