Storm入門,看這篇就夠了
部分一：Srorm 簡介
1.1 Storm是實時的數據流，Hadoop是批量離線數據
起源背景
- Twitter 開源的一個類似於Hadoop的實時數據處理框架
- Storm是由Nathan Marz 在BackType公司【做社交數據分析，數據量大】工作中實現的，這家公司後來被Twitter收購。
Ps:·Hadoop分布式存儲和分布式計算兩個難題全部解決了。但是缺點就是不能實時處理數據，Storm的作者就像寫一個這樣實時數據處理場景的框架出來
1.2 Storm應用場景【實時處理數據】
- 推薦系統：實時推薦，根據下單或加入購物車等操作
- 網站統計：實時銷量，流量統計
- 監控預警系統，金融系統
1.3Storm特性
- 擴展性強，當計算能力不足時，可以進行橫向擴展機器
- 保證數據不丟失，且數據可以消費一次或多次
- 容錯性好，消息處理過程出現異常，會進行重試
- 語言無關性：storm程序可以使用各種語言進行編寫
部分2 Storm原理
2.1拓展：大數據框架都有哪些架構類型？
主從架構：簡單高效，單主節點存在單點問題
HDFS\YARN\Storm\Hbase\Spark\Flink
對稱架構：復雜，效率較低，無單點問題，更加可靠
Zookeeper\Kafka [會進行主節點的選舉]
Storm的主從架構
- Nimbus 主節點
- Sipervisor 從節點
Nimbus—zookeeper--supervisor
Storm組件：Nimbus
接收客戶端的topo代碼，拆分成多個task,將task信息存入zk，並將task分配給Supervisor,將映射關系存入ZK，並進行故障檢測
類比：部門經理將需求拆分為 多個任務（每個任務有多個模塊） 將這些任務寫入項目文檔中去，，並將每個任務與每一程序員進行對應
Storm組件：Supervisor
- 從Nimbus目錄讀取代碼，從zk上讀取Nimbus分配的task
- 啟動工作進程Worker
- 監控每一個工作進程Worker
Storm 組件：Worker
- 從zk上讀取分配的task,並計算出task需要給哪些task發信息
- 啟動一個或多個Execucor線程執行任務Task
Storm組件：Zookeeper
- Nimbus與Supervisor進行通信（分配任務與心跳）
- Supervisor與Worker進行通信（分配任務和心跳）
- Nimbus高可用（HA機制）
動手實踐
- Zookeeper簡介與集群配置【Storm的各個組件間是通過這個組件進行通信】
- Zookeeper 的核心，單機和集群的配置方法
- Storm的單機和集群環境的搭建
部分3.Zookeeper簡介與集群配置【Storm的各個組件間是通過這個組件進行通信】
簡介：
Zookeeper是一個開源的分布式協調服務的框架，使各個機器進行之間進行通信
3.1核心功能：
- 文件系統
- 通知機制
文件系統：
類似於linux的文件系統目錄結構，從根目錄（/）開始
1.每一個目錄都是一個znode節點
2.每一個znode節點可直接存儲數據
3.類型：持久化，持久化順序，臨時，臨時順序
通知機制：
- 客戶端監聽關心的znode節點
- Znode節點有變化（數據改變、刪除、子目錄添加刪除），通知客戶端處理
3.2 zookeeper的安裝
下載：直接去官網：zookeeper.apache.org或CDH5進行下載
/opt/soft [下載位置]
/opt/module 【解壓位置】
下載 .tar.gz
解壓 tar –zxvf tar.gz –C /apps
解壓後的主要目錄結構：
bin：包含
- zkCli.sh 【命令行客戶端，可以去連接到這個文件系統，類似於hadoop fs】
- zkCleanup.sh [zk是一個小型文件系統，用於清理數據信息，保證各個節點的數據一致]
- zkEnv.sh [環境變量的一些東西]
- zkServer.sh 【zk服務器的啟動停止等操作】
conf:包含
- log4j.properties 日誌輸出級別
- zoo_sample.cfg mv zoo_sample.cfg zoo.cfg
- [tickTime:客戶端與zk服務器的心跳時間，各個znode節點也要保持心跳]
- InitLimit 啟動集群時候，選舉Nimbus節點的最大時間 tickTime* InitLimit
- SyncLimit 集群中各個znode節點進行數據同步時候，保持數據一致性，進行數據同步的最大時間，超過這個時間，數據會同步失敗
- dataDir zookeeper是一個小型的文件系統，將數據存放在哪裏配置
- clientPort 客戶端訪問zk服務器的端口號2181去連接到這個服務器
在解壓後的目錄新建一個data的目錄用於存放zk的數據
將$ZK_HOME/data 替換conf/zoo.cfg 中的dataDir
啟動bin/zkServer.sh start
Jps
Or
bin/zkServer.sh status
- standalone狀態
3.3 zk的命令行客戶端
去連接zk服務器
bin/zkCli.sh
這樣會連接本地的zk服務器‘
裏面的操作類似於linux的操作
輸入ls
查看根目錄有什麽 ls /
查看目錄下面的數據 get /
創建目錄 create /test 111
查看數據 get /test 得到111
修改數據 set /test 222
再次查看： get /test 得到222
刪除數據rmr /test
再次查看 ls / 無test目錄
3.4 zookeeper的集群搭建（推薦1,3,5這樣的節點數，在進行節點選舉的時候，保證能選舉一個主節點出來）
啟動三個機器
配置第一臺
步驟一：在單機的基礎（解壓後修改dataDir的目錄）上，添加配置項
server.
server.1=192.168.1.1:2888:3888
server.2=192.168.1.2:2888:3888
server.3=192.168.1.3:2888:3888
步驟二：
Scp –r zookeeper-3.4.5/ [email protected]:/opt/module
即可
在這之前可以配置ssh的免密碼登錄
拓展：
1.HOSTNAME主機名：vim /etc/sysconfig/network
2.配置ip與主機名之間的映射關系
Vim /etc/hosts
192.168.1.1 hadoop001
192.168.1.2 hadoop002
192.168.1.3 hadoop003
啟動zk集群
在每一臺上面都要進行啟動，bin/zkServer.sh start
Bin/zkServer.sh status 狀態為：leader 主節點
Bin/zkServer.sh status 狀態為：follower 從節點
ZKcli從1-2-3
192.168.1.1可以使用bin/zkCli.sh -server 192.168.1.2:2181
進入之後，connect 192.168.1.3:2181
部分4 Storm的安裝配置
單機環境的安裝配置
下載啊storm.apache.org 或CDH5 1.1.0 ，1.2.1等版本
解壓 tar –zxvf storm.tar.gz –C /opt/module
Storm的啟動是需要依賴於zookeeper服務的
在這之前，先使用單個zk服務（單節點）
Storm解壓後的目錄
bin 包含
- storm 核心腳本，可以通過這個腳本進行啟動
- Storm.py 是一個python腳本
Conf 包含
- Storm.yaml最核心的配置文件
- storm.zookeeper.servers
- nimbus.seeds
- drpc.servers
暫時不做任何修改
啟動主節點
bin/storm nimbus &
啟動從節點
bin/storm supervisor &
啟動UI
bin/storm ui &
啟動日誌
bin/storm logviewer &
ps：nohup java –jar hh.jar &
nohup + & 客戶端和虛擬機是不需要保持連接的，即當前輸入的命令界面是可以進行關閉的
Storm性能調優
為了解決數據不一致的問題，我們先把zookeeper的data目錄下先刪除,保持一致
每個機器上執行
rm –rf $ZK_HOME/data
mkdir $ZK_HOME/data
vim $ZK_HOME/data/myid 寫入相應的
每個機器上啟動zookeeper
bin/zkServer.sh start
開始配置storm的單機環境為集群環境配置
Vim #STORM_HOME/conf/storm.yaml
storm.zookeeper.servers:
- “192.168.1.1”
- “192.168.1.2”
- “192.168.1.3”
Nimbus.seeds: [“192.168.1.1”,”192.168.1.2”]
就簡單做這樣的操作就 可以了
接著 拷貝storm文件到其余的機器上面去
就可以啟動storm了
啟動主節點【第一臺機器上】
Nohup bin/storm nimbus &
啟動從節點【第二臺機器上】
Nohup bin/storm supervisor &
啟動UI
可以在第一臺 也可以在第二臺上面
nohup bin/storm ui
WebUI查看：
192.168.1.2:8080/index.html
這裏可以做節點故障轉義的實驗
Storm入門,看這篇就夠了