[原始碼解析] Flink的Slot究竟是什麼？(1)
阿新 • • 發佈：2020-08-24
# [原始碼解析] Flink的Slot究竟是什麼？(1)
[ToC]
## 0x00 摘要
Flink的Slot概念大家應該都聽說過，但是可能很多朋友還不甚瞭解其中細節，比如具體Slot究竟代表什麼？在程式碼中如何實現？Slot在生成執行圖、排程、分配資源、部署、執行階段分別起到什麼作用？本文和下文將帶領大家一起分析原始碼，為你揭開Slot背後的機理。
## 0x01 概述 & 問題
### 1.1 Fllink工作原理
從下圖可以大致瞭解Flink的工作原理，即從提交Job到執行具體Task的過程。我們可以看到在具體執行時候，Task是依附於某一個Slot上的。
```
+--------------+
| +----------+ |
+--------+ +--------+ +---------+ +---------+ | |Task Slot | |
| Flink | Submit | Job | Submit | Job | Submit Task | Task |Execute Task | +----------+ |
|Program +--------->+ Client +-------> | Manager +------------->+ Manager +------------>+ |
+--------+ +--------+ +---------+ +---------+ | +----------+ |
| |Task Slot | |
| +----------+ |
+--------------+
```
下圖是為了手機上觀看。
### 1.2 問題
帶著問題學習比較好，我這裡整理了幾個問題，希望有一定代表性：
- Slot究竟是什麼？
- Slot在程式碼中是如何實現的？
- Slot定義裡面究竟有什麼？CPU？記憶體？
- Slot是怎麼實現各種隔離的？
- TM中需要分成多少個Slot？
- Slot是怎麼分配給Task的？或者說Task是怎麼跑在Slot上的？
如果想搞清楚這些問題可不是一件容易的事情，需要把Flink任務執行的流程梳理一遍才行。下面我就帶著大家探尋一下。
## 0x02 示例程式碼
### 2.1 示例程式碼
示例程式碼就是Flink本身自帶的WordCount。只不過添加了一些配置：
- taskmanager.numberOfTaskSlots 是為了設定有幾個taskmanager。
- 其他是為了除錯，加長了心跳時間或者超時時間。
```java
Configuration conf = new Configuration();
conf.setString("heartbeat.timeout", "18000000");
conf.setString("resourcemanager.job.timeout", "18000000");
conf.setString("resourcemanager.taskmanager-timeout", "18000000");
conf.setString("slotmanager.request-timeout", "18000000");
conf.setString("slotmanager.taskmanager-timeout", "18000000");
conf.setString("slot.request.timeout", "18000000");
conf.setString("slot.idle.timeout", "18000000");
conf.setString("akka.ask.timeout", "18000000");
conf.setString("taskmanager.numberOfTaskSlots", "1");
final LocalEnvironment env = ExecutionEnvironment.createLocalEnvironment(conf);
```
## 0x03 從Slot角度看系統劃分
### 3.1 Flink元件
其實系統還是那麼劃分，只是我們從Slot資源分配角度看會更清晰。
一個 Flink Cluster 是由一個 Flink Master 和多個 Task Manager 組成的，一個 Flink Master 中有一個 Resource Manager 和多個 Job Manager。
- Flink Master 中每一個 Job Manager 單獨管理一個具體的 Job。
- Job Manager 中的 Scheduler 元件負責排程執行該 Job 的 DAG 中所有 Task，發出資源請求，即整個資源排程的起點；
- JobManager 中的 Slot Pool 元件持有分配到該 Job 的所有資源。
- Flink Master 中唯一的 Resource Manager 負責整個 Flink Cluster 的資源排程以及與外部排程系統對接，這裡的外部排程系統指的是 Kubernetes、Mesos、Yarn 等資源管理系統。
- Task Manager 負責 Task 的執行，其中的 Slot 是 Task Manager 資源的一個子集，也是 Flink 資源管理的基本單位，Slot 的概念貫穿資源排程過程的始終。
Flink Master 和 Task Manager 是程序級元件，其他的元件都是程序內的元件