1. 程式人生 > >學習筆記:從0開始學習大資料-19. storm開發及執行環境部署

學習筆記:從0開始學習大資料-19. storm開發及執行環境部署

一.eclipse strom開發環境

1. eclipse waven開發環境支援storm java程式開發很簡單,只要pom.xml 加入依賴即可

<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-core</artifactId>
    <version>1.2.2</version>
    <scope>provided</scope>
 </dependency> 

2. 測試用例,我就不重複帖copy的程式碼了

可以參考  https://www.cnblogs.com/xuwujing/p/8584684.html  Storm 入門的Demo教程  中的案例

正常執行後,即可打包成jar檔案獨立交付執行,我打包後輸出的檔案是stormwordcount.jar

二 storm叢集執行環境

我這裡是膝上型電腦的vmware虛擬機器,資源有限,就單機部署測試

1.下載
wget https://www.apache.org/dyn/closer.lua/storm/apache-storm-1.2.2/apache-storm-1.2.2.tar.gz

2.解壓 tar -zxvf  apache-storm-1.2.2.tar.gz

3.修改 conf/storm.env.sh 加入java路徑

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64

4.mkdir logs  在 storm目錄下建立一個logs  目錄存放日誌

5. 啟動 

cd /home/linbin/software/apache-storm-1.2.2
./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 & 
./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
./bin/storm ui >> ./logs/ui.out 2>&1 &
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &

也可以寫shell指令碼一次啟動

啟動完後可以jps檢視,如下顯示說明各元件都正常啟動

[[email protected] apache-storm-1.2.2]# jps
10867 logviewer
10373 nimbus
10183 dev_zookeeper
10583 core
11019 Jps
3755 org.eclipse.equinox.launcher_1.5.100.v20180827-1352.jar
10734 Supervisor
[[email protected] apache-storm-1.2.2]# 


6.測試

就執行上面打好包的jar,因為沒有其它輸入引數,入口類後面沒有再帶引數

[[email protected] apache-storm-1.2.2]# ./bin/storm jar /home/linbin/workspace/stormwordcount.jar com.linbin.storm.App

執行能正常輸出結果

也可以通過storm ui,在瀏覽器 http://localhost:8080  監控執行