模式 輪詢 同步 對象 讀數 csdn 我們 涵蓋 多進程

epoll 或者 kqueue 的原理是什麽？ 【轉自知乎】

Epoll 引入簡介

首先我們來定義流的概念，一個流可以是文件，socket，pipe等等可以進行I/O操作的內核對象。

不管是文件，還是套接字，還是管道，我們都可以把他們看作流。
之後我們來討論I/O的操作，通過read，我們可以從流中讀入數據；通過write，我們可以往流寫入數據。現在假定一個情形，我們需要從流中讀數據，但是流中還沒有數據，（典型的例子為，客戶端要從socket讀如數據，但是服務器還沒有把數據傳回來），這時候該怎麽辦？

• 阻塞。阻塞是個什麽概念呢？比如某個時候你在等快遞，但是你不知道快遞什麽時候過來，而且你沒有別的事可以幹（或者說接下來的事要等快遞來了才能做）；那麽你可以去睡覺了，因為你知道快遞把貨送來時一定會給你打個電話（假定一定能叫醒你）。
• 非阻塞忙輪詢。接著上面等快遞的例子，如果用忙輪詢的方法，那麽你需要知道快遞員的手機號，然後每分鐘給他掛個電話：“你到了沒？”

很明顯一般人不會用第二種做法，不僅顯很無腦，浪費話費不說，還占用了快遞員大量的時間。
大部分程序也不會用第二種做法，因為第一種方法經濟而簡單，經濟是指消耗很少的CPU時間，如果線程睡眠了，就掉出了系統的調度隊列，暫時不會去瓜分CPU寶貴的時間片了。

為了了解阻塞是如何進行的，我們來討論緩沖區，以及內核緩沖區，最終把I/O事件解釋清楚。緩沖區的引入是為了減少頻繁I/O操作而引起頻繁的系統調用（你知道它很慢的），當你操作一個流時，更多的是以緩沖區為單位進行操作，這是相對於用戶空間而言。對於內核來說，也需要緩沖區。
假設有一個管道，進程A為管道的寫入方，Ｂ為管道的讀出方。

1. 假設一開始內核緩沖區是空的，B作為讀出方，被阻塞著。然後首先A往管道寫入，這時候內核緩沖區由空的狀態變到非空狀態，內核就會產生一個事件告訴Ｂ該醒來了，這個事件姑且稱之為“緩沖區非空”。
2. 但是“緩沖區非空”事件通知B後，B卻還沒有讀出數據；且內核許諾了不能把寫入管道中的數據丟掉這個時候，Ａ寫入的數據會滯留在內核緩沖區中，如果內核也緩沖區滿了，B仍未開始讀數據，最終內核緩沖區會被填滿，這個時候會產生一個I/O事件，告訴進程A，你該等等（阻塞）了，我們把這個事件定義為“緩沖區滿”。
3. 假設後來Ｂ終於開始讀數據了，於是內核的緩沖區空了出來，這時候內核會告訴A，內核緩沖區有空位了，你可以從長眠中醒來了，繼續寫數據了，我們把這個事件叫做“緩沖區非滿”
4. 也許事件Y1已經通知了A，但是A也沒有數據寫入了，而Ｂ繼續讀出數據，知道內核緩沖區空了。這個時候內核就告訴B，你需要阻塞了！，我們把這個時間定為“緩沖區空”。

這四個情形涵蓋了四個I/O事件，緩沖區滿，緩沖區空，緩沖區非空，緩沖區非滿（註都是說的內核緩沖區，且這四個術語都是我生造的，僅為解釋其原理而造）。這四個I/O事件是進行阻塞同步的根本。（如果不能理解“同步”是什麽概念，請學習操作系統的鎖，信號量，條件變量等任務同步方面的相關知識）。

然後我們來說說阻塞I/O的缺點。但是阻塞I/O模式下，一個線程只能處理一個流的I/O事件。如果想要同時處理多個流，要麽多進程(fork)，要麽多線程(pthread_create)，很不幸這兩種方法效率都不高。
於是再來考慮非阻塞忙輪詢的I/O方式，我們發現我們可以同時處理多個流了（把一個流從阻塞模式切換到非阻塞模式再此不予討論）：

while true {
    for i in stream[]; {
        if i has data
            read until unavailable
    }
}            

我們只要不停的把所有流從頭到尾問一遍，又從頭開始。這樣就可以處理多個流了，但這樣的做法顯然不好，因為如果所有的流都沒有數據，那麽只會白白浪費CPU。這裏要補充一點，阻塞模式下，內核對於I/O事件的處理是阻塞或者喚醒，而非阻塞模式下則把I/O事件交給其他對象（後文介紹的select以及epoll）處理甚至直接忽略。

為了避免CPU空轉，可以引進了一個代理（一開始有一位叫做select的代理，後來又有一位叫做poll的代理，不過兩者的本質是一樣的）。這個代理比較厲害，可以同時觀察許多流的I/O事件，在空閑的時候，會把當前線程阻塞掉，當有一個或多個流有I/O事件時，就從阻塞態中醒來，於是我們的程序就會輪詢一遍所有的流（於是我們可以把“忙”字去掉了）。代碼長這樣:

while true {
    select(streams[])
    for i in streams[] {
        if i has data
            read until unavailable
    }
}

於是，如果沒有I/O事件產生，我們的程序就會阻塞在select處。但是依然有個問題，我們從select那裏僅僅知道了，有I/O事件發生了，但卻並不知道是那幾個流（可能有一個，多個，甚至全部），我們只能無差別輪詢所有流，找出能讀出數據，或者寫入數據的流，對他們進行操作。

但是使用select，我們有O(n)的無差別輪詢復雜度，同時處理的流越多，每一次無差別輪詢時間就越長。再次
說了這麽多，終於能好好解釋epoll了
epoll可以理解為event poll，不同於忙輪詢和無差別輪詢，epoll之會把哪個流發生了怎樣的I/O事件通知我們。此時我們對這些流的操作都是有意義的。（復雜度降低到了O(k)，k為產生I/O事件的流的個數，也有認為O(1)的[更新 1]）
在討論epoll的實現細節之前，先把epoll的相關操作列出[更新 2]：

• epoll_create 創建一個epoll對象，一般epollfd = epoll_create()
• epoll_ctl （epoll_add/epoll_del的合體），往epoll對象中增加/刪除某一個流的某一個事件
  比如
  epoll_ctl(epollfd, EPOLL_CTL_ADD, socket, EPOLLIN);//有緩沖區內有數據時epoll_wait返回
  epoll_ctl(epollfd, EPOLL_CTL_DEL, socket, EPOLLOUT);//緩沖區可寫入時epoll_wait返回
• epoll_wait(epollfd,...)等待直到註冊的事件發生

（註：當對一個非阻塞流的讀寫發生緩沖區滿或緩沖區空，write/read會返回-1，並設置errno=EAGAIN。而epoll只關心緩沖區非滿和緩沖區非空事件）。
一個epoll模式的代碼大概的樣子是：

while true {
    active_stream[] = epoll_wait(epollfd)
    for i in active_stream[] {
        read or write till unavailable
    }
}        

限於篇幅，我只說這麽多，以揭示原理性的東西，至於epoll的使用細節，請參考man和google

---

第一部分：select和epoll的任務

關鍵詞：應用程序 文件句柄 用戶態 內核態 監控者

要比較epoll相比較select高效在什麽地方，就需要比較二者做相同事情的方法。

要完成對I/O流的復用需要完成如下幾個事情：

1.用戶態怎麽將文件句柄傳遞到內核態？

2.內核態怎麽判斷I/O流可讀可寫？

3.內核怎麽通知監控者有I/O流可讀可寫？

4.監控者如何找到可讀可寫的I/O流並傳遞給用戶態應用程序？

5.繼續循環時監控者怎樣重復上述步驟？

搞清楚上述的步驟也就能解開epoll高效的原因了。

select的做法：

步驟1的解法：select創建3個文件描述符集，並將這些文件描述符拷貝到內核中，這裏限制了文件句柄的最大的數量為1024（註意是全部傳入---第一次拷貝）；

步驟2的解法：內核針對讀緩沖區和寫緩沖區來判斷是否可讀可寫,這個動作和select無關；

步驟3的解法：內核在檢測到文件句柄可讀/可寫時就產生中斷通知監控者select，select被內核觸發之後，就返回可讀可寫的文件句柄的總數；

步驟4的解法：select會將之前傳遞給內核的文件句柄再次從內核傳到用戶態（第2次拷貝），select返回給用戶態的只是可讀可寫的文件句柄總數，再使用FD_ISSET宏函數來檢測哪些文件I/O可讀可寫（遍歷）；

步驟5的解法：select對於事件的監控是建立在內核的修改之上的，也就是說經過一次監控之後，內核會修改位，因此再次監控時需要再次從用戶態向內核態進行拷貝（第N次拷貝）

epoll的做法：

步驟1的解法：首先執行epoll_create在內核專屬於epoll的高速cache區，並在該緩沖區建立紅黑樹和就緒鏈表，用戶態傳入的文件句柄將被放到紅黑樹中（第一次拷貝）。

步驟2的解法：內核針對讀緩沖區和寫緩沖區來判斷是否可讀可寫，這個動作與epoll無關；

步驟3的解法：epoll_ctl執行add動作時除了將文件句柄放到紅黑樹上之外，還向內核註冊了該文件句柄的回調函數，內核在檢測到某句柄可讀可寫時則調用該回調函數，回調函數將文件句柄放到就緒鏈表。

步驟4的解法：epoll_wait只監控就緒鏈表就可以，如果就緒鏈表有文件句柄，則表示該文件句柄可讀可寫，並返回到用戶態（少量的拷貝）；

步驟5的解法：由於內核不修改文件句柄的位，因此只需要在第一次傳入就可以重復監控，直到使用epoll_ctl刪除，否則不需要重新傳入，因此無多次拷貝。

簡單說：epoll是繼承了select/poll的I/O復用的思想，並在二者的基礎上從監控IO流、查找I/O事件等角度來提高效率，具體地說就是內核句柄列表、紅黑樹、就緒list鏈表來實現的。

第二部分：epoll詳解

先簡單回顧下如何使用C庫封裝的3個epoll系統調用吧。

1. int epoll_create(int size);
2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
3. int epoll_wait(int epfd, struct epoll_event *events,int maxevents, int timeout);

使用起來很清晰：

A.epoll_create建立一個epoll對象。參數size是內核保證能夠正確處理的最大句柄數，多於這個最大數時內核可不保證效果。

B.epoll_ctl可以操作上面建立的epoll，例如，將剛建立的socket加入到epoll中讓其監控，或者把 epoll正在監控的某個socket句柄移出epoll，不再監控它等等(也就是將I/O流放到內核)。

C.epoll_wait在調用時，在給定的timeout時間內，當在監控的所有句柄中有事件發生時，就返回用戶態的進程（也就是在內核層面捕獲可讀寫的I/O事件）。

從上面的調用方式就可以看到epoll比select/poll的優越之處：

因為後者每次調用時都要傳遞你所要監控的所有socket給select/poll系統調用，這意味著需要將用戶態的socket列表copy到內核態，如果以萬計的句柄會導致每次都要copy幾十幾百KB的內存到內核態，非常低效。而我們調用epoll_wait時就相當於以往調用select/poll，但是這時卻不用傳遞socket句柄給內核，因為內核已經在epoll_ctl中拿到了要監控的句柄列表。

====>select監控的句柄列表在用戶態，每次調用都需要從用戶態將句柄列表拷貝到內核態，但是epoll中句柄就是建立在內核中的，這樣就減少了內核和用戶態的拷貝，高效的原因之一。

所以，實際上在你調用epoll_create後，內核就已經在內核態開始準備幫你存儲要監控的句柄了，每次調用epoll_ctl只是在往內核的數據結構裏塞入新的socket句柄。

在內核裏，一切皆文件。所以，epoll向內核註冊了一個文件系統，用於存儲上述的被監控socket。當你調用epoll_create時，就會在這個虛擬的epoll文件系統裏創建一個file結點。當然這個file不是普通文件，它只服務於epoll。

epoll在被內核初始化時（操作系統啟動），同時會開辟出epoll自己的內核高速cache區，用於安置每一個我們想監控的socket，這些socket會以紅黑樹的形式保存在內核cache裏，以支持快速的查找、插入、刪除。這個內核高速cache區，就是建立連續的物理內存頁，然後在之上建立slab層，簡單的說，就是物理上分配好你想要的size的內存對象，每次使用時都是使用空閑的已分配好的對象。

epoll高效的原因：

這是由於我們在調用epoll_create時，內核除了幫我們在epoll文件系統裏建了個file結點，在內核cache裏建了個紅黑樹用於存儲以後epoll_ctl傳來的socket外，還會再建立一個list鏈表，用於存儲準備就緒的事件.

當epoll_wait調用時，僅僅觀察這個list鏈表裏有沒有數據即可。有數據就返回，沒有數據就sleep，等到timeout時間到後即使鏈表沒數據也返回。所以，epoll_wait非常高效。而且，通常情況下即使我們要監控百萬計的句柄，大多一次也只返回很少量的準備就緒句柄而已，所以，epoll_wait僅需要從內核態copy少量的句柄到用戶態而已.

那麽，這個準備就緒list鏈表是怎麽維護的呢？

當我們執行epoll_ctl時，除了把socket放到epoll文件系統裏file對象對應的紅黑樹上之外，還會給內核中斷處理程序註冊一個回調函數，告訴內核，如果這個句柄的中斷到了，就把它放到準備就緒list鏈表裏。所以，當一個socket上有數據到了，內核在把網卡上的數據copy到內核中後就來把socket插入到準備就緒鏈表裏了。

epoll綜合的執行過程：

如此，一棵紅黑樹，一張準備就緒句柄鏈表，少量的內核cache，就幫我們解決了大並發下的socket處理問題。執行epoll_create時，創建了紅黑樹和就緒鏈表，執行epoll_ctl時，如果增加socket句柄，則檢查在紅黑樹中是否存在，存在立即返回，不存在則添加到樹幹上，然後向內核註冊回調函數，用於當中斷事件來臨時向準備就緒鏈表中插入數據。執行epoll_wait時立刻返回準備就緒鏈表裏的數據即可。

epoll水平觸發和邊緣觸發的實現：

當一個socket句柄上有事件時，內核會把該句柄插入上面所說的準備就緒list鏈表，這時我們調用epoll_wait，會把準備就緒的socket拷貝到用戶態內存，然後清空準備就緒list鏈表， 最後，epoll_wait幹了件事，就是檢查這些socket，如果不是ET模式（就是LT模式的句柄了），並且這些socket上確實有未處理的事件時，又把該句柄放回到剛剛清空的準備就緒鏈表了，所以，非ET的句柄，只要它上面還有事件，epoll_wait每次都會返回。而ET模式的句柄，除非有新中斷到，即使socket上的事件沒有處理完，也是不會次次從epoll_wait返回的。

====>區別就在於epoll_wait將socket返回到用戶態時是否情況就緒鏈表。

第三部分：epoll高效的本質

1.減少用戶態和內核態之間的文件句柄拷貝；

2.減少對可讀可寫文件句柄的遍歷；

IO多路復用--epoll詳解