1.1 CFS原理

    cfs定義了一種新的模型，它給cfs_rq（cfs的run queue）中的每一個程序安排一個虛擬時鐘，vruntime。如果一個程序得以執行，隨著時間的增長（也就是一個個tick的到來），其vruntime將不斷增大。沒有得到執行的程序vruntime不變。
    而排程器總是選擇vruntime跑得最慢的那個程序來執行。這就是所謂的“完全公平”。為了區別不同優先順序的程序，優先順序高的程序vruntime增長得慢，以至於它可能得到更多的執行機會。

1.2 CFS基本設計思路

CFS思路很簡單，就是根據各個程序的權重分配執行時間(權重怎麼來的後面再說)。
程序的執行時間計算公式為:
分配給程序的執行時間 = 排程週期 * 程序權重 / 所有程序權重之和   (公式1)
    排程週期很好理解，就是將所有處於TASK_RUNNING態程序都排程一遍的時間,差不多相當於O(1)排程演算法中執行佇列和過期佇列切換一次的時間（對O(1)排程演算法看得不是很熟，如有錯誤還望各位大蝦指出）。舉個例子，比如只有兩個程序A, B，權重分別為1和2，排程週期設為30ms，那麼分配給A的CPU時間為:30ms * (1/(1+2)) = 10ms；而B的CPU時間為：30ms * (2/(1+2)) = 20ms。那麼在這30ms中A將執行10ms，B將執行20ms。
    公平怎麼體現呢？它們的執行時間並不一樣阿？
其實公平是體現在另外一個量上面，叫做virtual runtime(vruntime)，它記錄著程序已經執行的時間，但是並不是直接記錄，而是要根據程序的權重將執行時間放大或者縮小一個比例。
我們來看下從實際執行時間到vruntime的換算公式
vruntime = 實際執行時間 * 1024 / 程序權重 。 (公式2)
    為了不把大家搞暈，這裡我直接寫1024，實際上它等於nice為0的程序的權重，程式碼中是NICE_0_LOAD。也就是說，所有程序都以nice為0的程序的權重1024作為基準，計算自己的vruntime增加速度。還以上面AB兩個程序為例，B的權重是A的2倍，那麼B的vruntime增加速度只有A的一半。現在我們把公式2中的實際執行時間用公式1來替換，可以得到這麼一個結果：
vruntime = (排程週期 * 程序權重 / 所有程序總權重) * 1024 / 程序權重 = 排程週期 * 1024 / 所有程序總權重 
看出什麼眉目沒有？沒錯，雖然程序的權重不同，但是它們的 vruntime增長速度應該是一樣的 ，與權重無關。好，既然所有程序的vruntime增長速度巨集觀上看應該是同時推進的，
那麼就可以用這個vruntime來選擇執行的程序，誰的vruntime值較小就說明它以前佔用cpu的時間較短，受到了“不公平”對待，因此下一個執行程序就是它。這樣既能公平選擇程序，又能保證高優先順序程序獲得較多的執行時間。這就是CFS的主要思想了。

或者可以這麼理解：CFS的思想就是讓每個排程實體（沒有組排程的情形下就是程序，以後就說程序了）的vruntime互相追趕，而每個排程實體的vruntime增加速度不同，權重越大的增加的越慢，這樣就能獲得更多的cpu執行時間。

    再補充一下權重的來源，權重跟程序nice值之間有一一對應的關係，可以通過全域性陣列prio_to_weight來轉換，nice值越大，權重越低。

1.3 CFS資料結構

介紹程式碼之前先介紹一下CFS相關的結構
第一個是排程實體sched_entity，它代表一個排程單位，在組排程關閉的時候可以把他等同為程序。每一個task_struct中都有一個sched_entity，程序的vruntime和權重都儲存在這個結構中。那麼所有的sched_entity怎麼組織在一起呢？紅黑樹。所有的sched_entity以vruntime為key(實際上是以vruntime-min_vruntime為key，是為了防止溢位，反正結果是一樣的)插入到紅黑樹中，同時快取樹的最左側節點，也就是vruntime最小的節點，這樣可以迅速選中vruntime最小的程序。
    注意只有等待CPU的就緒態程序在這棵樹上，睡眠程序和正在執行的程序都不在樹上。

1.4 Vruntime溢位問題

    之前說過紅黑樹中實際的作為key的不是vruntime而是vruntime-min_vruntime。min_vruntime是當前紅黑樹中最小的key。這是為什麼呢，我們先看看vruntime的型別，是usigned long型別的，再看看key的型別，是signed long型別的，因為程序的虛擬時間是一個遞增的正值，因此它不會是負數，但是它有它的上限，就是unsigned long所能表示的最大值，如果溢位了，那麼它就會從0開始回滾，如果這樣的話，結果會怎樣？結果很嚴重啊，就是說會本末倒置的，比如以下例子，以unsigned char說明問題：

unsigned char a = 251，b = 254;

b += 5;//到此判斷a和b的大小

看看上面的例子，b回滾了，導致a遠遠大於b，其實真正的結果應該是b比a大8，怎麼做到真正的結果呢？改為以下：

unsigned char a = 251，b = 254;

b += 5;

signed char c = a - 250,d = b - 250;//到此判斷c和d的大小

結果正確了，要的就是這個效果，可是程序的vruntime怎麼用unsigned long型別而不處理溢位問題呢？因為這個vruntime的作用就是推進虛擬時鐘，並沒有別的用處，它可以不在乎，然而在計算紅黑樹的key的時候就不能不在乎了，於是減去一個最小的vruntime將所有程序的key圍繞在最小vruntime的周圍，這樣更加容易追蹤。執行佇列的min_vruntime的作用就是處理溢位問題的。

1.5 組排程

    關於組排程，詳見：《linux組排程淺析 》。簡單來說，引入組排程是為了實現做一件事的一組程序與做另一件事的另一組程序的隔離。每件“事情”各自有自己的權重，而不管它需要使用多少程序來完成。在cfs中，task_group和程序是同等對待的，task_group的優先順序也由使用者來控制（通過cgroup檔案cpu.shares）。
實現上，task_group和程序都被抽象成schedule_entity（排程實體，以下簡稱se），上面說到的vruntime、load、等這些東西都被封裝在se裡面。而task_group除了有se之外，還有cfs_rq。屬於這個task_group的程序就被裝在它的cfs_rq中（“組”不僅是一個被排程的實體，也是一個容器）。組排程引入以後，一系列task_group的cfs_rq組成了一個樹型結構。樹根是cpu所對應的cfs_rq（也就是root group的cfs_rq）、樹的中間節點是各個task_group的cfs_rq、葉子節點是各個程序。
在一個task_group的兩頭，是兩個不同的世界，就像《盜夢空間》裡不同層次的夢境一樣。

以group-1為例，它所對應的se被加入到父組（cpu_rq）的cfs_rq中，接受排程。這個se有自己的load（由對應的cpu.shares檔案來配置），不管group-1下面有多少個程序，這個load都是這個值。父組看不到、也不關心group-1下的程序。父組只會根據這個se的load和它執行的時間來更新其vruntime。當group-1被排程器選中後，會繼續選擇其下面的task-11或task-12來執行。這裡又是一套獨立的體系，task-11與task-12的vruntime、load、等這些東西隻影響它們在group-1的cfs_rq中的排程情況。樹型結構中的每一個cfs_rq都是獨立完成自己的排程邏輯。不過，從cpu配額上看，task_group的配額會被其子孫層層瓜分。
    例如上圖中的task-11，它所在的group-1對應se的load是8，而group-1下兩個程序的load是9和3，task-11佔其中的3/4。於是，在group-1所對應的cfs_rq內部看，task-11的load是9，而從全域性來看，task-11的load是8*3/4=6。而task_group下的程序的時間片也是這樣層層瓜分而來的，比如說group-1的cfs_rq下只有兩個程序，計算得來的排程延遲是20ms。但是task-11並非佔其中的3/4（15ms）。因為group-1的se的load佔總額的8/(8+3+5)=1/2，所以task-11的load佔總額的1/2*3/4=3/8，時間片是20ms*3/8=7.5ms。
這樣的瓜分有可能使得task_group裡面的程序分得很小的時間片，從而導致頻繁re-schedule。不過好在這並不影響task_group外面的其他程序，並且也可以儘量讓task_group裡面的程序在每個排程延遲內都執行一次。
    cfs曾經有過時間片不層層瓜分的實現，比如上圖中的task-11，時間片算出來是15ms就是15ms，不用再瓜分了。這樣做的好處是不會有頻繁的re-schedule。但是task_group裡的程序可能會很久才被執行一次。瓜分與不瓜分兩種方案的示例如下（還是繼續上圖的例子，深藍色代表task-11、淺藍色是task-12，空白是其他程序）：

     兩種方案好像很難說清孰優孰劣，貌似cfs也在這兩種方案間糾結了好幾次。
在程序用完其時間片之前，有可能它所在的task_group的se先用完了時間片，而被其父組re-schedule掉。這種情況下，當這個task_group的se再一次被其父組選中時，上次得到執行、且尚未用完時間片的那個程序將繼續執行，直到它用完時間片。（cfs_rq->last會記錄下這個尚未用完時間片的程序。）

1.6 CFS小結

    CFS還有一個重要特點，即排程粒度小。CFS之前的排程器中，除了程序呼叫了某些阻塞函式而主動參與排程之外，每個程序都只有在用完了時間片或者屬於自己的時間配額之後才被搶佔。而CFS則在每次tick都進行檢查，如果當前程序不再處於紅黑樹的左邊，就被搶佔。在高負載的伺服器上，通過調整排程粒度能夠獲得更好的排程效能。

感謝關注 Ithao123Linux頻道，ithao123.cn是專門為網際網路人打造的學習交流平臺，全面滿足網際網路人工作與學習需求，更多網際網路資訊盡在 IThao123!