原來Muduo是一個人自己寫的!!!
阿新 • • 發佈:2019-02-13
陳碩 (giantchen_AT_gmail)
Blog.csdn.net/Solstice
2010 Aug 30
本文主要介紹 muduo 網路庫的使用。其設計與實現將有另文講解。
由來
半年前我寫了一篇《學之者生,用之者死——ACE歷史與簡評》,其中提到“我心目中理想的網路庫”的樣子:
在想清楚這些目標之後,我開始第三次嘗試編寫自己的 C++ 網路庫。與前兩次不同,這次我一開始就想好了庫的名字,叫 muduo (木鐸),並在 Google code 上建立了專案:http://code.google.com/p/muduo/ 。muduo 的主體內容在 5 月底已經基本完成,現在我把它開源。
本文主要介紹 muduo 網路庫的使用,其設計與實現將有另文講解。
下載與編譯
下載地址: http://muduo.googlecode.com/files/muduo-0.1.0-alpha.tar.gz
SHA1 Checksum: 5d3642e311177ded89ed0d15c10921738f8c984c
Muduo 使用了
Linux 較新的系統呼叫,要求 Linux 的核心版本大於 2.6.28 (我自己用的是 2.6.32 )。在 Debian Squeeze / Ubuntu 10.04 LTS 上編譯測試通過,32 位和 64 位系統都能使用。
Muduo 採用 CMake 為 build system,安裝方法:
例子
Muduo 附帶了幾十個小例子,位於 examples 目錄。其中包括從 Boost.Asio、JBoss Netty、Python Twisted 等處移植過來的例子。
Muduo 的目錄結構如下。
Muduo 的標頭檔案明確分為客戶可見和客戶不可見兩類。客戶可見的為白底,客戶不可見的為灰底。
這裡簡單介紹各個標頭檔案及 class 的作用,詳細的介紹留給以後的部落格。
公開介面
內部實現
執行緒模型
Muduo 的執行緒模型符合我主張的 one loop per thread + thread pool 模型。每個執行緒最多有一個 EventLoop。每個 TcpConnection 必須歸某個 EventLoop 管理,所有的 IO 會轉移到這個執行緒,換句話說一個 file descriptor 只能由一個執行緒讀寫。TcpConnection 所在的執行緒由其所屬的 EventLoop 決定,這樣我們可以很方便地把不同的 TCP 連線放到不同的執行緒去,也可以把一些 TCP 連線放到一個執行緒裡。TcpConnection 和 EventLoop 是執行緒安全的,可以跨執行緒呼叫。TcpServer 直接支援多執行緒,它有兩種模式:
結語
Muduo 是我對常見網路程式設計任務的總結,用它我能很容易地編寫多執行緒的 TCP 伺服器和客戶端。Muduo 是我業餘時間的作品,程式碼估計還有很多 bug,功能也不完善(例如不支援 signal 處理),待日後慢慢改進吧。
Blog.csdn.net/Solstice
2010 Aug 30
本文主要介紹 muduo 網路庫的使用。其設計與實現將有另文講解。
由來
半年前我寫了一篇《學之者生,用之者死——ACE歷史與簡評》,其中提到“我心目中理想的網路庫”的樣子:
- 執行緒安全,支援多核多執行緒
- 不考慮可移植性,不跨平臺,只支援 Linux,不支援 Windows。
- 在不增加複雜度的前提下可以支援 FreeBSD/Darwin,方便將來用 Mac 作為開發用機,但不為它做效能優化。也就是說 IO multiplexing 使用 poll 和 epoll。
- 主要支援 x86-64,兼顧 IA32
- 不支援 UDP,只支援 TCP
- 不支援 IPv6,只支援 IPv4
- 不考慮廣域網應用,只考慮區域網
- 只支援一種使用模式:non-blocking IO + one event loop per thread,不考慮阻塞 IO
- API 簡單易用,只暴露具體類和標準庫裡的類,不使用 non-trivial templates,也不使用虛擬函式
- 只滿足常用需求的 90%,不面面俱到,必要的時候以 app 來適應 lib
- 只做 library,不做成 framework
- 爭取全部程式碼在 5000 行以內(不含測試)
- 以上條件都滿足時,可以考慮搭配 Google Protocol Buffers RPC
在想清楚這些目標之後,我開始第三次嘗試編寫自己的 C++ 網路庫。與前兩次不同,這次我一開始就想好了庫的名字,叫 muduo (木鐸),並在 Google code 上建立了專案:http://code.google.com/p/muduo/ 。muduo 的主體內容在 5 月底已經基本完成,現在我把它開源。
本文主要介紹 muduo 網路庫的使用,其設計與實現將有另文講解。
下載與編譯
下載地址: http://muduo.googlecode.com/files/muduo-0.1.0-alpha.tar.gz
SHA1 Checksum: 5d3642e311177ded89ed0d15c10921738f8c984c
Muduo 使用了
Muduo 採用 CMake 為 build system,安裝方法:
- $ sudo apt-get install cmake
- $ sudo apt-get install libboost1.40-dev # 或 libboost1.42-dev
- $ tar zxf muduo-0.1.0-alpha.tar.gz
- $ cd muduo/
- $ ./build.sh
- # 編譯生成的可執行檔案和靜態庫檔案分別位於 ../build/debug/{bin,lib}
- $ BUILD_TYPE=release ./build.sh
- # 編譯生成的可執行檔案和靜態庫檔案分別位於 ../build/release/{bin,lib}
例子
Muduo 附帶了幾十個小例子,位於 examples 目錄。其中包括從 Boost.Asio、JBoss Netty、Python Twisted 等處移植過來的例子。
- examples
- |-- simple # 簡單網路協議的實現
- | |-- allinone # 在一個程式裡同時實現下面 5 個協議
- | |-- chargen # RFC 864,可測試頻寬
- | |-- daytime # RFC 867
- | |-- discard # RFC 863
- | |-- echo # RFC 862
- | |-- time # RFC 868
- | `-- timeclient # time 協議的客戶端
- |-- hub # 一個簡單的 pub/sub/hub 服務,演示應用級的廣播
- |-- roundtrip # 測試兩臺機器的網路延時與時間差
- |-- asio # 從 Boost.Asio 移植的例子
- | |-- chat # 聊天服務
- | `-- tutorial # 一系列 timers
- |-- netty # 從 JBoss Netty 移植的例子
- | |-- discard # 可用於測試頻寬,伺服器可多執行緒執行
- | |-- echo # 可用於測試頻寬,伺服器可多執行緒執行
- | `-- uptime # TCP 長連線
- `-- twisted # 從 Python Twisted 移植的例子
- `-- finger # finger01 ~ 07
Muduo 的目錄結構如下。
- muduo
- |-- base # 與網路無關的基礎程式碼,已提前釋出
- `-- net # 網路庫
- |-- http # 一個簡單的可嵌入的 web 伺服器
- |-- inspect # 基於以上 web 伺服器的“窺探器”,用於報告程序的狀態
- `-- poller # poll(2) 和 epoll(4) 兩種 IO multiplexing 後端
Muduo 的標頭檔案明確分為客戶可見和客戶不可見兩類。客戶可見的為白底,客戶不可見的為灰底。
這裡簡單介紹各個標頭檔案及 class 的作用,詳細的介紹留給以後的部落格。
公開介面
- Buffer 仿 Netty ChannelBuffer 的 buffer class,資料的讀寫透過 buffer 進行
- InetAddress 封裝 IPv4 地址 (end point),注意,muduo 目前不能解析域名,只認 IP
- EventLoop 反應器 Reactor,使用者可以註冊計時器回撥
- EventLoopThread 啟動一個執行緒,在其中執行 EventLoop::loop()
- TcpConnection 整個網路庫的核心,封裝一次 TCP 連線
- TcpClient 用於編寫網路客戶端,能發起連線,並且有重試功能
- TcpServer 用於編寫網路伺服器,接受客戶的連線
- 在這些類中,TcpConnection 的生命期依靠 shared_ptr 控制(即使用者和庫共同控制)。Buffer 的生命期由 TcpConnection 控制。其餘類的生命期由使用者控制。
- HttpServer 和 Inspector,暴露出一個 http 介面,用於監控程序的狀態,類似於 Java JMX。這麼做的原因是,《程式設計師修煉之道》第 6 章第 34 條提到“對於更大、更復雜的伺服器程式碼,提供其操作的內部試圖的一種漂亮技術是使用內建的 Web 伺服器”,Jeff Dean 也說“(每個 Google 的伺服器程序)Export HTML-based status pages for easy diagnosis”。
內部實現
- Channel 是 selectable IO channel,負責註冊與響應 IO 事件,它不擁有 file descriptor。它是 Acceptor、Connector、EventLoop、TimerQueue、TcpConnection 的成員,生命期由後者控制。
- Socket 封裝一個 file descriptor,並在析構時關閉 fd。它是 Acceptor、TcpConnection 的成員,生命期由後者控制。EventLoop、TimerQueue 也擁有 fd,但是不封裝為 Socket。
- SocketsOps 封裝各種 sockets 系統呼叫。
- EventLoop 封裝事件迴圈,也是事件分派的中心。它用 eventfd(2) 來非同步喚醒,這有別於傳統的用一對 pipe(2) 的辦法。它用 TimerQueue 作為計時器管理,用 Poller 作為 IO Multiplexing。
- Poller 是 PollPoller 和 EPollPoller 的基類,採用“電平觸發”的語意。它是 EventLoop 的成員,生命期由後者控制。
- PollPoller 和 EPollPoller 封裝 poll(2) 和 epoll(4) 兩種 IO Multiplexing 後端。Poll 的存在價值是便於除錯,因為 poll(2) 呼叫是上下文無關的,用 strace 很容易知道庫的行為是否正確。
- Connector 用於發起 TCP 連線,它是 TcpClient 的成員,生命期由後者控制。
- Acceptor 用於接受 TCP 連線,它是 TcpServer 的成員,生命期由後者控制。
- TimerQueue 用 timerfd 實現定時,這有別於傳統的設定 poll/epoll_wait 的等待時長的辦法。為了簡單起見,目前用連結串列來管理 Timer,如果有必要可改為優先佇列,這樣複雜度可從 O(n) 降為 O(1)。它是 EventLoop 的成員,生命期由後者控制。
- EventLoopThreadPool 用於建立 IO 執行緒池,也就是說把 TcpConnection 分派到一組執行 EventLoop 的執行緒上。它是 TcpServer 的成員,生命期由後者控制。
執行緒模型
Muduo 的執行緒模型符合我主張的 one loop per thread + thread pool 模型。每個執行緒最多有一個 EventLoop。每個 TcpConnection 必須歸某個 EventLoop 管理,所有的 IO 會轉移到這個執行緒,換句話說一個 file descriptor 只能由一個執行緒讀寫。TcpConnection 所在的執行緒由其所屬的 EventLoop 決定,這樣我們可以很方便地把不同的 TCP 連線放到不同的執行緒去,也可以把一些 TCP 連線放到一個執行緒裡。TcpConnection 和 EventLoop 是執行緒安全的,可以跨執行緒呼叫。TcpServer 直接支援多執行緒,它有兩種模式:
- 單執行緒,accept 與 TcpConnection 用同一個執行緒做 IO。
- 多執行緒,accept 與 EventLoop 在同一個執行緒,另外建立一個 EventLoopThreadPool,新到的連線會按 round-robin 方式分配到執行緒池中。
結語
Muduo 是我對常見網路程式設計任務的總結,用它我能很容易地編寫多執行緒的 TCP 伺服器和客戶端。Muduo 是我業餘時間的作品,程式碼估計還有很多 bug,功能也不完善(例如不支援 signal 處理),待日後慢慢改進吧。