三者實現原理對比分析 select, poll, epoll都是IO多路複用的機制，上文中提到的多路複用主要是以select為例，select和poll大同小異，因為select和poll的實現有明顯的缺點，所以在Linux2.5.44中引入了新的處理大批量控制代碼的API——epoll，被公認為Linux2.6下效能最好的多路I/O就緒通知方法。這裡還是要強調，I/O多路複用機制的目的是應對大量的描述符，並不是所有情況下效能都是最好的（相比於直接的blocking、non-blocking、asynchronous），select、poll、epoll本質上都是同步I/O，因為它們都需要在讀寫事件就緒後自己負責進行讀寫，也就是說這個讀寫過程是阻塞的（上文也得出了這個結論，epoll使用mmap機制省去了核心空間到使用者空間的資料拷貝，似乎可以認為是非同步的）。 select和poll的實現比較相似，重點還是以select為例，epoll可以說是select和poll的增強版，優化了幾個方面的效能。 1. select實現原理 1）使用copy_from_user從使用者空間拷貝fd_set到核心空間 2）註冊回撥函式__pollwait 3）遍歷所有fd，呼叫其對應的poll方法（對於socket這個poll方法是sock_poll，sock_poll根據情況會呼叫到tcp_poll、udp_poll或者datagram_poll） 4）以tcp_poll為例，其核心實現就是__pollwait，也就是上面註冊的回撥函式 5）__pollwait的主要工作就是把current（當前程序）掛到裝置的等待佇列中，不同的裝置有不同的等待佇列，對於tcp_poll來說，其等待佇列是sk->sk_sleep（把程序掛到等待佇列中並不代表程序已經睡眠）。在裝置收到一條訊息或填寫完檔案資料後，會喚醒裝置等待佇列上的程序，這時current便被喚醒了 6）poll方法返回時會返回一個描述讀寫操作是否就緒的掩碼，根據這個掩碼給fd_set賦值 7）如果遍歷完所有的fd，還沒有返回一個可讀寫的掩碼，則會呼叫schedule_timeout使呼叫select的程序（也就是current）進入睡眠。當裝置驅動發現自身資源可讀寫後，會喚醒其等待佇列上睡眠的程序。如果超過一定的超時時間（schedule_timeout指定）還是沒被喚醒，則呼叫select的程序會重新被喚醒獲得CPU，進而重新遍歷fd，判斷有沒有就緒的fd 8）把fd_set從核心空間拷貝到使用者空間 select 的幾個缺點： 1）每次呼叫select，都需要把fd集合從使用者空間拷貝到核心空間，這個開銷在fd很多時會很大 2）每次呼叫select都需要在核心遍歷傳遞進來的所有fd，這個開銷在fd很多時也會很大 3）select支援的檔案描述符數量太小了，預設是1024 2. poll的實現 和select非常相似，只是描述fd集合的方式不同，poll使用pollfd結構而不是select的fd_set結構。其他差不多。 select回撥機制，把current加入fd對應的裝置等待佇列時使用的程式碼：

1. static
    void __pollwait(struct file *filp, wait_queue_head_t *wait_address,  
2.                 poll_table *p)  
3. {  
4.     struct poll_table_entry *entry = poll_get_entry(p);  
5.     if (!entry)  
6.         return;  
7.     get_file(filp);  
8.     entry->filp = filp;  
9.     entry->wait_address = wait_address;  
10.     //設定等待的程序為current，回撥函式為default_wake_function
11.     init_waitqueue_entry(&entry->wait, current);  
12.     //新增到等待佇列中
13.     add_wait_queue(wait_address, &entry->wait);  
14. }  

其中init_waitqueue_entry實現如下：

1. static inline void init_waitqueue_entry(wait_queue_t *q, struct task_struct *p)  
2. {  
3.     q->flags = 0;  
4.     q->private = p;  
5.     q->func = default_wake_function;  
6. }  

上面的程式碼是說建立一個poll_table_entry結構entry，首先把current設定為entry->wait的private成員，同時把default_wake_function設為entry->wait的func成員，然後把entry->wait鏈入到wait_address中（這個wait_address就是裝置的等待佇列，在tcp_poll中就是sk_sleep）。 3. epoll實現 我們重點看一下epoll是克服select/poll的三個明顯缺點的。 在呼叫介面上，select和poll都只提供了一個函式——select或者poll函式。而epoll提供了三個函式：epoll_create、epoll_ctl和epoll_wait。epoll_create是建立一個epoll控制代碼，epoll_ctl是註冊要監聽的事件型別，epoll_wait是等待事件的產生。 對於第一個缺點，epoll的解決方案在epoll_ctl函式中。每次註冊新的事件到epoll控制代碼中時（在epoll_ctl中指定EPOLL_CTL_ADD），會把所有的fd拷貝進核心，而不是在epoll_wait的時候重複拷貝。epoll保證了每個fd在整個過程中只會拷貝一次。 對於第二個缺點，epoll的解決方案不像select或poll一樣每次都把current輪流加入fd對應的裝置等待佇列中，而只在epoll_ctl時把current掛一遍，併為每個fd指定一個回撥函式，當裝置就緒，喚醒等待佇列上的等待者，就會呼叫這個回撥函式，而這個回撥函式會把就緒的fd加入一個就緒連結串列。epoll_wait的工作實際上就是在這個就緒連結串列中檢視有沒有就緒的fd（就緒連結串列是否為空）。 對於第三個缺點，epoll沒有這個限制，它所支援的FD上限是最大可以開啟檔案的數目，這個數字一般遠大於2048，具體可以cat /proc/sys/fs/file-max檢視，在1GB記憶體的機器上大約是10萬左右。 epoll回撥機制：

1. /* 
2.  * This is the callback that is used to add our wait queue to the 
3.  * target file wakeup lists. 
4.  */  
5. static void ep_ptable_queue_proc(struct file *file, wait_queue_head_t *whead,  
6.                  poll_table *pt)  
7. {  
8.     struct epitem *epi = ep_item_from_epqueue(pt);  
9.     struct eppoll_entry *pwq;  
10.     if (epi->nwait >= 0 && (pwq = kmem_cache_alloc(pwq_cache, GFP_KERNEL))) {  
11.         init_waitqueue_func_entry(&pwq->wait, ep_poll_callback);  
12.         pwq->whead = whead;  
13.         pwq->base = epi;  
14.         add_wait_queue(whead, &pwq->wait);  
15.         list_add_tail(&pwq->llink, &epi->pwqlist);  
16.         epi->nwait++;  
17.     } else {  
18.         /* We have to signal that an error occurred */  
19.         epi->nwait = -1;  
20.     }  
21. }  

其中init_waitqueue_func_entry的實現如下：

1. static inline void init_waitqueue_func_entry(wait_queue_t *q,  
2.                     wait_queue_func_t func)  
3. {  
4.     q->flags = 0;  
5.     q->private = NULL;  
6.     q->func = func;  
7. }  

可以看到，總體上和select實現是類似的，只不過它是建立了一個epoll_entry結構pwq，pwq->wait的func成員被設定成了回撥函式ep_poll_callback（而不是default_wake_function，所以這裡並不會有喚醒操作而只是執行回撥函式），private成員被設定成了NULL。最後把pwq->wait鏈入到whead中（也就是裝置等待佇列中）。這樣，當裝置等待佇列中的程序被喚醒時，就會呼叫ep_poll_callback了。 重新梳理一下epoll的流程： 當epoll_wait時，它會判斷就緒連結串列中有沒有就緒的fd，如果沒有，則把current程序加入到一個等待佇列(file->private_data->wq)中，並在一個while(1)迴圈中判斷就緒佇列是否為空，並結合schedule_timeout實現睡一會。如果current程序在睡眠中，裝置就緒了，就會呼叫回撥函式。在回撥函式中，會把就緒的fd放到就緒連結串列，並喚醒等待佇列（file->private_data->wq）中的current程序，這樣epoll_wait又能繼續執行下去了。 總結： 1）epoll呼叫epoll_wait輪詢就緒連結串列，不像select、poll一樣要輪詢所有fd集合。在epoll中，裝置就緒時，呼叫回撥函式，就把就緒fd放入就緒連結串列中，並喚醒在epoll_wait中進入睡眠的程序。雖然都要睡眠和喚醒交替，但select和poll在醒著的時候要遍歷整個fd集合，而epoll在醒著的時候只要判斷一下就緒連結串列是否為空就行了，節省了大量的CPU時間，這就是回撥機制帶來的效能提升。 2）select、poll每次呼叫都要把fd集合從使用者空間往核心空間拷貝一次，並且要把current往裝置等待佇列中掛一次，而epoll只要一次拷貝，而且把current往等待佇列上掛也只是掛一次（在epoll_wait的開始，注意這裡的等待佇列並不是裝置等待佇列，只是一個epoll內部定義的等待佇列）。這也能節省不少的開銷。 參考資料：