1. 程式人生 > >jstorm2.1.1 叢集安裝

jstorm2.1.1 叢集安裝


一、基礎環境:

JDK    :1.8.0_65 (要求1.6+)

ZooKeeper:3.4.10

Jstorm2.1.1

主機數:3(要求3+,且必須是奇數,因為ZooKeeper的選舉演算法

主機名 IP地址 JDK ZooKeeper
nimbus 10.116.33.109 1.8.0_65 server.1
supervisor 10.27.185.72 1.8.0_65 server.2
supervisor 10.25.203.67 1.8.0_65 server.3

 

 

 


二、節點上安裝配置:

下載並解壓

wget "https://github.com/alibaba/jstorm/releases/download/2.1.1/jstorm-2.1.1.zip"
unzip jstorm-2.1.1.zip

配置環境變數

vim  ~/.bash_profile 
JSTORM_HOME=/data/jstorm/jstorm-2.1.1
export PATH=$PATH:$JSTORM_HOME/bin

儲存後
source ~/.bash_profile

設定 storm.yaml 

vim storm.yaml 


storm.zookeeper.servers:zk的IP地址

nimbus.host:nimbus的IP地址

注意:

1.配置檔案中引數前必須有一個空格,否則會解析失敗。

2.最後加入jvm 引數配置,否則記憶體太小無法啟動

 nimbus.childopts: "-Xms128m -Xmx128m -Xmn64m -XX:SurvivorRatio=4 -XX:MaxTenuringThreshold=15 -XX:+UseConcMarkSweepGC  -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:+HeapDumpOnOutOfMemoryError -XX:CMSMaxAbortablePrecleanTime=5000"


在提交jar的節點上執行:

mkdir ~/.jstorm
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm

啟動JStorm

在nimbus 節點上執行 nohup jstorm nimbus &, 檢視$JSTORM_HOME/logs/nimbus.log檢查有無錯誤
在supervisor節點上執行 nohup jstorm supervisor &, 檢視$JSTORM_HOME/logs/supervisor.log檢查有無錯誤

執行任務jar

#提交上傳jar 
執行jstorm jar xxxxxx.jar com.alibaba.xxxx.xx parameter

  • xxxx.jar 為打包後的jar
  • com.alibaba.xxxx.xx 為入口類,即提交任務的類
  • parameter即為提交引數