學習 Flink（七）：Flink on YARN

摘要： Flink 支援多種叢集部署： Standalone Flink on YARN Flink on Mesos Flink on K8s 等等…… Flink on YARN 支援兩種模式： 會話模式（Session Mode），在 Y...

Flink 支援多種叢集部署：

• Standalone
• Flink on YARN
• Flink on Mesos
• Flink on K8s
• 等等……

Flink on YARN 支援兩種模式：

• 會話模式（Session Mode），在 YARN 上執行長期執行的 Flink 叢集；
• 任務模式（Job Mode），在 YARN 上執行 Flink 任務。

會話模式

會話模式下，啟動一個長期執行的 Flink 叢集，可以同時執行多個任務，只能手動停止。

啟動 Flink 會話：

export HADOOP_CONF_DIR=/etc/hadoop/conf && bin/yarn-session.sh -n 4 -tm 4096 -s 8 -d

引數說明：

• -n --container 必選，分配 YARN Container 數量
• -D 屬性
• -d --detached 啟動一個獨立的 YARN 會話，Flink YARN 客戶端在提交到叢集之後會關閉自己
• -jm --jobManagerMemory JobManager 記憶體大小，單位 MB
• -nm --name 名字
• -q --query 顯示可用的 YARN 資源（記憶體、CPU）
• -qu --queue 指定 YARN 佇列
• -s --slots TaskManager 槽數
• -tm --taskManagerMemory TaskManager 記憶體大小，單位 MB
• -z --zookeeperNamespace HA 模式下，ZK 名稱空間

成功之後，會啟動控制檯 Web 服務，如下圖所示：

任務模式

任務模式下，Flink 叢集啟動執行單個任務。一旦任務結束，Flink 叢集就會停止並歸還所有資源。

執行任務：

bin/flink run -m yarn-cluster -yn 4 -ytm 4096 -ys 8 -yd app.jar

參考

• ofollow,noindex" target="_blank">YARN Setup - Apache Flink Document