1. 程式人生 > >Linux上Storm叢集環境的搭建

Linux上Storm叢集環境的搭建

一:什麼是Storm?

Storm是開源的一個分散式實時計算系統,用於資料的實時分析,持續計算,分散式RPC、線上機器學習、ETL等。例如,在電商購物網站購買商品時,會在網頁旁邊或者底端看到與自己所需要商品相關的系列商品,這就是使用類似Storm實時計算去做的。Hadoop適用於海量資料的離線資料分析,無法做到實時分析計算。

Storm系統的設計保證了訊息能得到快速的處理,使用ZeroMQ作為其底層訊息佇列。Storm有一個"本地模式",可以在處理過程中完全模擬Storm叢集,可以使我們快速進行開發和單元測試。Storm支援水平擴充套件,具有高容錯性,保證每個訊息都會得到處理,而且處理速度很快,在一個小叢集中,,每個結點每秒可以處理數以百萬計的訊息。Storm的部署和運維都很便捷,可以使用任意程式語言來開發應用。

二:Storm環境搭建

1:需要安裝的軟體

jdk的下載與安裝,具體步驟參考https://mp.csdn.net/postedit/84196901這篇部落格

zookeeper的下載與安裝,具體步驟參考https://mp.csdn.net/postedit/84201320這篇部落格

storm安裝包的下載

下載地址:http://mirrors.hust.edu.cn/apache/storm/apache-storm-1.2.2/

cd /usr/local/hadoop

tar -zxvf apache-storm-1.2.2.tar.gz

cd /apache-storm-1.2.2/conf/

修改配置檔案storm.yaml

stom.zookeeper.servers:zookeeper叢集的ip地址

nimbus.host:Storm叢集中master的IP地址

storm.local.dir:配置data資料夾

ui.port:網頁訪問的埠號

supervisor.slots.ports:worker在執行過程中使用的埠號

注意上圖中箭頭位置的空格,不要去掉,否則可能會導致Storm無法正常啟動

將主機器的storm傳到從機器中去

scp /usr/local/hadoop/apache-storm-1.2.2/  @slave1:/usr/local/hadoop

scp /usr/local/hadoop/apache-storm-1.2.2/  @slave2:/usr/local/hadoop

修改各個主機的系統配置檔案 /etc/profile

vim /etc/profile

新增export STORM_HOME=/usr/local/apache-storm-1.2.1

修改export PATH=$JAVA_HOME/bin:$STORM_HOME/bin:$PATH

然後執行source /etc/profile

三:storm叢集的啟動

首先,啟動Zookeeper叢集,具體操作看我之前搭建Zookeeper叢集的部落格裡面有詳細介紹

其次,啟動Storm叢集

主機器192.168.10.138     從機器:192.168.10.139、192.168.10.141

主機器(nimbus):  storm nimbus  &

從機器(supervisor):    storm supervisor  &

主機器ui執行:  storm  ui  &

主機器logviewer執行:    storm  logviewer  &

檢視程序可以看到啟動了

在瀏覽器中訪問http://192.168.10.138:8081 ,可以檢視storm的一些叢集配置

這樣storm的叢集環境就搭建好啦。