# 背景 - `Read the fucking source code!` --By 魯迅 - `A picture is worth a thousand words.` --By 高爾基 說明： 1. Kernel版本：4.14 2. ARM64處理器，Contex-A53，雙核 3. 使用工具：Source Insight 3.5， Visio # 1. 概述 - `Completely Fair Scheduler`，完全公平排程器，用於Linux系統中普通程序的排程。 - `CFS`採用了紅黑樹演算法來管理所有的排程實體`sched_entity`，演算法效率為`O(log(n))`。`CFS`跟蹤排程實體`sched_entity`的虛擬執行時間`vruntime`，平等對待執行佇列中的排程實體`sched_entity`，將執行時間少的排程實體`sched_entity`排列到紅黑樹的左邊。 - 排程實體`sched_entity`通過`enqueue_entity()`和`dequeue_entity()`來進行紅黑樹的出隊入隊。 老規矩，先上張圖片來直觀瞭解一下原理：  - 每個`sched_latency`週期內，根據各個任務的權重值，可以計算出執行時間`runtime`； - 執行時間`runtime`可以轉換成虛擬執行時間`vruntime`； - 根據虛擬執行時間的大小，插入到CFS紅黑樹中，虛擬執行時間少的排程實體放置到左邊； - 在下一次任務排程的時候，選擇虛擬執行時間少的排程實體來執行； 在開始本文之前，建議先閱讀下`（一）Linux程序排程器-基礎`。 開始探索之旅！ # 2. 資料結構 ## 2.1 排程類 Linux核心抽象了一個排程類`struct sched_class`，這是一種典型的面向物件的設計思想，將共性的特徵抽象出來封裝成類，在例項化各個排程器的時候，可以根據具體的排程演算法來實現。這種方式做到了高內聚低耦合，同時又很容易擴充套件新的排程器。  - 在排程核心程式碼`kernel/sched/core.c`中，使用的方式是`task->sched_class->xxx_func`，其中`task`表示的是描述任務的結構體`struct task_struck`，在該結構體中包含了任務所使用的排程器，進而能找到對應的函式指標來完成呼叫執行，有點類似於C++中的多型機制。 ## 2.2 rq/cfs_rq/task_struct/task_group/sched_entity - `struct rq`：每個CPU都有一個對應的執行佇列； - `struct cfs_rq`：CFS執行佇列，該結構中包含了`struct rb_root_cached`紅黑樹，用於連結排程實體`struct sched_entity`。`rq`執行佇列中對應了一個CFS執行佇列，此外，在`task_group`結構中也會為每個CPU再維護一個CFS執行佇列； - `struct task_struct`：任務的描述符，包含了程序的所有資訊，該結構中的`struct sched_entity`，用於參與CFS的排程； - `struct task_group`：組排程（參考前文），Linux支援將任務分組來對CPU資源進行分配管理，該結構中為系統中的每個CPU都分配了`struct sched_entity`排程實體和`struct cfs_rq`執行佇列，其中`struct sched_entity`用於參與CFS的排程； - `struct sched_entity`：排程實體，這個也是CFS排程管理的物件了； 來一張圖看看它們之間的組織關係：  - `struct sched_entity`結構體欄位註釋如下： ```c struct sched_entity { /* For load-balancing: */ struct load_weight load; //排程實體的負載權重值 struct rb_node run_node; //用於連線到CFS執行佇列的紅黑樹中的節點 struct list_head group_node; //用於連線到CFS執行佇列的cfs_tasks連結串列中的節點 unsigned int on_rq; //用於表示是否在執行佇列中 u64 exec_start; //當前排程實體的開始執行時間 u64 sum_exec_runtime; //排程實體執行的總時間 u64 vruntime; //虛擬執行時間，這個時間用於在CFS執行佇列中排隊 u64 prev_sum_exec_runtime; //上一個排程實體執行的總時間 u64 nr_migrations; //負載均衡 struct sched_statistics statistics; //統計資訊 #ifdef CONFIG_FAIR_GROUP_SCHED int depth; //任務組的深度，其中根任務組的深度為0，逐級往下增加 struct sched_entity *parent; //指向排程實體的父物件 /* rq on which this entity is (to be) queued: */ struct cfs_rq *cfs_rq; //指向排程實體歸屬的CFS佇列，也就是需要入列的CFS佇列 /* rq "owned" by this entity/group: */ struct cfs_rq *my_q; //指向歸屬於當前排程實體的CFS佇列，用於包含子任務或子的任務組 #endif #ifdef CONFIG_SMP /* * Per entity load average tracking. * * Put into separate cache line so it does not * collide with read-mostly values above. */ struct sched_avg avg ____cacheline_aligned_in_smp; //用於排程實體的負載計算（`PELT`） #endif }; ``` - struct cfs_rq結構體的關鍵欄位註釋如下： ```c /* CFS-related fields in a runqueue */ struct cfs_rq { struct load_weight load; //CFS執行佇列的負載權重值 unsigned int nr_running, h_nr_running; //nr_running：執行的排程實體數（參與時間片計算） u64 exec_clock; //執行時間 u64 min_vruntime; //最少的虛擬執行時間，排程實體入隊出隊時需要進行增減處理 #ifndef CONFIG_64BIT u64 min_vruntime_copy; #endif struct rb_root_cached tasks_timeline; //紅黑樹，用於存放排程實體 /* * 'curr' points to currently running entity on this cfs_rq. * It is set to NULL otherwise (i.e when none are currently running). */ struct sched_entity *curr, *next, *last, *skip; //分別指向當前執行的排程實體、下一個排程的排程實體、CFS執行佇列中排最後的排程實體、跳過執行的排程實體 #ifdef CONFIG_SCHED_DEBUG unsigned int nr_spread_over; #endif #ifdef CONFIG_SMP /* * CFS load tracking */ struct sched_avg avg; //計算負載相關 u64 runnable_load_sum; unsigned long runnable_load_avg; //基於PELT的可執行平均負載 #ifdef CONFIG_FAIR_GROUP_SCHED unsigned long tg_load_avg_contrib; //任務組的負載貢獻 unsigned long propagate_avg; #endif atomic_long_t removed_load_avg, removed_util_avg; #ifndef CONFIG_64BIT u64 load_last_update_time_copy; #endif #ifdef CONFIG_FAIR_GROUP_SCHED /* * h_load = weight * f(tg) * * Where f(tg) is the recursive weight fraction assigned to * this group. */ unsigned long h_load; u64 last_h_load_update; struct sched_entity *h_load_next; #endif /* CONFIG_FAIR_GROUP_SCHED */ #endif /* CONFIG_SMP */ #ifdef CONFIG_FAIR_GROUP_SCHED struct rq *rq; /* cpu runqueue to which this cfs_rq is attached */ //指向CFS執行佇列所屬的CPU RQ執行佇列 /* * leaf cfs_rqs are those that hold tasks (lowest schedulable entity in * a hierarchy). Non-leaf lrqs hold other higher schedulable entities * (like users, containers etc.) * * leaf_cfs_rq_list ties together list of leaf cfs_rq's in a cpu. This * list is used during load balance. */ int on_list; struct list_head leaf_cfs_rq_list; struct task_group *tg; /* group that "owns" this runqueue */ //CFS執行佇列所屬的任務組 #ifdef CONFIG_CFS_BANDWIDTH int runtime_enabled; //CFS執行佇列中使用CFS頻寬控制 u64 runtime_expires; //到期的執行時間 s64 runtime_remaining; //剩餘的執行時間 u64 throttled_clock, throttled_clock_task; //限流時間相關 u64 throttled_clock_task_time; int throttled, throttle_count; //throttled：限流，throttle_count：CFS執行佇列限流次數 struct list_head throttled_list; //執行佇列限流連結串列節點，用於新增到cfs_bandwidth結構中的cfttle_cfs_rq連結串列中 #endif /* CONFIG_CFS_BANDWIDTH */ #endif /* CONFIG_FAIR_GROUP_SCHED */ }; ``` # 3. 流程分析 整個流程分析，圍繞著`CFS排程類實體：fair_sched_class`中的關鍵函式來展開。 先來看看`fair_sched_class`都包含了哪些函式： ```c /* * All the scheduling class methods: */ const struct sched_class fair_sched_class = { .next = &idle_sched_class, .enqueue_task = enqueue_task_fair, .dequeue_task = dequeue_task_fair, .yield_task = yield_task_fair, .yield_to_task = yield_to_task_fair, .check_preempt_curr = check_preempt_wakeup, .pick_next_task = pick_next_task_fair, .put_prev_task = put_prev_task_fair, #ifdef CONFIG_SMP .select_task_rq = select_task_rq_fair, .migrate_task_rq = migrate_task_rq_fair, .rq_online = rq_online_fair, .rq_offline = rq_offline_fair, .task_dead = task_dead_fair, .set_cpus_allowed = set_cpus_allowed_common, #endif .set_curr_task = set_curr_task_fair, .task_tick = task_tick_fair, .task_fork = task_fork_fair, .prio_changed = prio_changed_fair, .switched_from = switched_from_fair, .switched_to = switched_to_fair, .get_rr_interval = get_rr_interval_fair, .update_curr = update_curr_fair, #ifdef CONFIG_FAIR_GROUP_SCHED .task_change_group = task_change_group_fair, #endif }; ``` ## 3.1 runtime與vruntime CFS排程器沒有時間片的概念了，而是根據實際的執行時間和虛擬執行時間來對任務進行排序，從而選擇排程。 那麼，執行時間和虛擬執行時間是怎麼計算的呢？看一下流程呼叫：  - Linux核心預設的`sysctl_sched_latency`是6ms，這個值使用者態可設。`sched_period`用於保證可執行任務都能至少執行一次的時間間隔； - 當可執行任務大於8個的時候，`sched_period`的計算則需要根據任務個數乘以最小排程顆粒值，這個值系統預設為0.75ms； - 每個任務的執行時間計算，是用`sched_period`值，去乘以該任務在整個CFS執行佇列中的權重佔比； - 虛擬執行的時間 = 實際執行時間 * NICE_0_LOAD / 該任務的權重； 還是來看一個例項吧，以5個Task為例，其中每個Task的`nice`值不一樣（優先順序不同），對應到的權重值在核心中提供了一個轉換陣列： ```c const int sched_prio_to_weight[40] = { /* -20 */ 88761, 71755, 56483, 46273, 36291, /* -15 */ 29154, 23254, 18705, 14949, 11916, /* -10 */ 9548, 7620, 6100, 4904, 3906, /* -5 */ 3121, 2501, 1991, 1586, 1277, /* 0 */ 1024, 820, 655, 526, 423, /* 5 */ 335, 272, 215, 172, 137, /* 10 */ 110, 87, 70, 56, 45, /* 15 */ 36, 29, 23, 18, 15, }; ``` 圖來了：  ## 3.2 CFS排程tick CFS排程器中的tick函式為`task_tick_fair`，系統中每個排程tick都會呼叫到，此外如果使用了`hrtimer`，也會呼叫到這個函式。 流程如下：  主要的工作包括： - 更新執行時的各類統計資訊，比如`vruntime`， 執行時間、負載值、權重值等； - 檢查是否需要搶佔，主要是比較執行時間是否耗盡，以及`vruntime`的差值是否大於執行時間等； 來一張圖，感受一下`update_curr`函式的相關資訊更新吧：  ## 3.3 任務出隊入隊 - 當任務進入可執行狀態時，需要將排程實體放入到紅黑樹中，完成入隊操作； - 當任務退出可執行狀態時，需要將排程實體從紅黑樹中移除，完成出隊操作； - CFS排程器，使用`enqueue_task_fair`函式將任務入隊到CFS佇列，使用`dequeue_task_fair`函式將任務從CFS佇列中出隊操作。  - 出隊與入隊的操作中，核心的邏輯可以分成兩部分：1）更新執行時的資料，比如負載、權重、組排程的佔比等等；2）將sched_entity插入紅黑樹，或者從紅黑樹移除； - 由於`dequeue_task_fair`大體的邏輯類似，不再深入分析； - 這個過程中，涉及到了`CPU負載計算`、`task_group組排程`、`CFS Bandwidth頻寬控制`等，這些都在前邊的文章中分析過，可以結合進行理解； ## 3.3 任務建立 在父程序通過`fork`建立子程序的時候，`task_fork_fair`函式會被呼叫，這個函式的傳入引數是子程序的`task_struct`。該函式的主要作用，就是確定子任務的`vruntime`，因此也能確定子任務的排程實體在紅黑樹RB中的位置。 `task_fork_fair`本身比較簡單，流程如下圖：  ## 3.4 任務選擇 每當程序任務切換的時候，也就是`schedule`函式執行時，排程器都需要選擇下一個將要執行的任務。 在CFS排程器中，是通過`pick_next_task_fair`函式完成的，流程如下：  - 當需要程序任務切換的時候，`pick_next_task_fair`函式的傳入引數中包含了需要被切換出去的任務，也就是`pre_task`； - 當`pre_task`不是普通程序時，也就是排程類不是CFS，那麼它就不使用`sched_entity`的排程實體來參與排程，因此會執行`simple`分支，通過`put_pre_task`函式來通知系統當前的任務需要被切換，而不是通過`put_prev_entity`函式來完成； - 當`pre_task`是普通程序時，呼叫`pick_next_entity`來選擇下一個執行的任務，這個選擇過程實際是有兩種情況：當排程實體對應task時，`do while()`遍歷一次，當排程實體對應`task_group`是，則需要遍歷任務組來選擇下一個執行的任務了。 - `put_prev_entity`，用於切換任務前的準備工作，更新執行時的統計資料，並不進行`dequeue`的操作，其中需要將CFS佇列的`curr`指標置位成NULL； - set_next_entity，用於設定下一個要執行的排程實體，設定CFS佇列的`curr`指標； - 如果使能了`hrtimer`，則將`hrtimer`的到期時間設定為排程實體的剩餘執行時間； 暫且分析到這吧，CFS排程器涵蓋的內容還是挺多的，`fair.c`一個檔案就有將近一萬行程式碼，相關內容的分析也分散在前邊的文章中了，感興趣的可以去看看。 打完收工，洗洗睡了。 ![](https://img2020.cnblogs.com/blog/1771657/202003/1771657-20200314235543748-584946