學習筆記:從0開始學習大資料-19. storm開發及執行環境部署
一.eclipse strom開發環境
1. eclipse waven開發環境支援storm java程式開發很簡單,只要pom.xml 加入依賴即可
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-core</artifactId>
<version>1.2.2</version>
<scope>provided</scope>
</dependency>
2. 測試用例,我就不重複帖copy的程式碼了
可以參考 https://www.cnblogs.com/xuwujing/p/8584684.html Storm 入門的Demo教程 中的案例
正常執行後,即可打包成jar檔案獨立交付執行,我打包後輸出的檔案是stormwordcount.jar
二 storm叢集執行環境
我這裡是膝上型電腦的vmware虛擬機器,資源有限,就單機部署測試
1.下載
wget https://www.apache.org/dyn/closer.lua/storm/apache-storm-1.2.2/apache-storm-1.2.2.tar.gz
2.解壓 tar -zxvf apache-storm-1.2.2.tar.gz
3.修改 conf/storm.env.sh 加入java路徑
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64
4.mkdir logs 在 storm目錄下建立一個logs 目錄存放日誌
5. 啟動
cd /home/linbin/software/apache-storm-1.2.2
./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &
./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
./bin/storm ui >> ./logs/ui.out 2>&1 &
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &
也可以寫shell指令碼一次啟動
啟動完後可以jps檢視,如下顯示說明各元件都正常啟動
[[email protected] apache-storm-1.2.2]# jps
10867 logviewer
10373 nimbus
10183 dev_zookeeper
10583 core
11019 Jps
3755 org.eclipse.equinox.launcher_1.5.100.v20180827-1352.jar
10734 Supervisor
[[email protected] apache-storm-1.2.2]#
6.測試
就執行上面打好包的jar,因為沒有其它輸入引數,入口類後面沒有再帶引數
[[email protected] apache-storm-1.2.2]# ./bin/storm jar /home/linbin/workspace/stormwordcount.jar com.linbin.storm.App
執行能正常輸出結果
也可以通過storm ui,在瀏覽器 http://localhost:8080 監控執行