1、前言

RTP/RTCP協議是流媒體通訊的基石。RTP協議定義流媒體資料在網際網路上傳輸的資料包格式，而RTCP協議則負責可靠傳輸、流量控制和擁塞控制等服務質量保證。在WebRTC專案中，RTP/RTCP模組作為傳輸模組的一部分，負責對傳送端採集到的媒體資料進行進行封包，然後交給上層網路模組傳送；在接收端RTP/RTCP模組收到上層模組的資料包後，進行解包操作，最後把負載傳送到解碼模組。因此，RTP/RTCP 模組在WebRTC通訊中發揮非常重要的作用。

本文在深入研究WebRTC原始碼的基礎上，以Video資料的傳送和接收為例，力求用簡潔語言描述RTP/RTCP模組的實現細節，為進一步深入掌握WebRTC打下良好基礎。

2、RTP/RTCP協議概述

RTP協議是Internet上針對流媒體傳輸的基礎協議，該協議詳細說明在網際網路上傳輸音視訊的標準資料包格式。RTP協議本身只保證實時資料的傳輸，RTCP協議則負責流媒體的傳輸質量保證，提供流量控制和擁塞控制等服務。在RTP會話期間，各參與者週期性彼此傳送RTCP報文。報文中包含各參與者資料傳送和接收等統計資訊，參與者可以據此動態控制流媒體傳輸質量。

RFC3550 定義RTP/RTCP協議的基本內容，包括報文格式、傳輸規則等。除此之外，IETF還定義一系列擴充套件協議，包括RTP協議基於檔次的擴充套件，和RTCP協議基於報文型別的擴充套件，等等。詳細內容可參考：《

3、WebRTC的資料處理和傳輸過程

WebRTC對外提供兩個執行緒：Signal和Worker，前者負責信令資料的處理和傳輸，後者負責媒體資料的處理和傳輸。在WebRTC內部，有一系列執行緒各司其職，相互協作完成資料流管線。下面以Video資料的處理流程為例，說明WebRTC內部的執行緒合作關係。

WebRTC執行緒關係和資料Pipline：

如上圖所示，Capture執行緒從攝像頭採集原始資料，得到VideoFrame；Capture執行緒是系統相關的，在Linux系統上可能是呼叫V4L2介面的執行緒，而在Mac系統上可能是呼叫AVFoundation框架的介面。接下來原始資料VideoFrame從Capture執行緒到達Worker執行緒，Worker執行緒起搬運工的作用，沒有對資料做特別處理，而是轉發到Encoder執行緒。Encoder執行緒呼叫具體的編碼器(如VP8, H264)對原始資料VideoFrame進行編碼，編碼後的輸出進一步進行RTP封包形成RTP資料包。然後RTP資料包傳送到Pacer執行緒進行平滑傳送，Pacer執行緒會把RTP資料包推送到Network執行緒。最終Network執行緒呼叫傳輸層系統函式把資料傳送到網路。

在接收端，Network執行緒從網路接收位元組流，接著Worker執行緒反序列化為RTP資料包，並在VCM模組進行組幀操作。Decoder執行緒對組幀完成的資料幀進行解碼操作，解碼後的原始資料VideoFrame會推送到IncomingVideoStream執行緒，該執行緒把VideoStream投放到render進行渲染顯示。至此，一幀視訊資料完成從採集到顯示的完整過程。

在上述過程中，RTP資料包產生在傳送端編碼完成後，其編碼輸出被封裝為RTP報文，然後經序列化傳送到網路。在接收端由網路執行緒收到網路資料包後，經過反序列化還原成RTP報文，然後經過解包得到媒體資料負載，供解碼器進行解碼。RTP報文在傳送和接收過程中，會執行一系列統計操作，統計結果作為資料來源供構造RTCP報文之用。RTP報文構造、傳送/接收統計和RTCP報文構造、解析反饋，是接下來分析的重點。

4、RTP報文傳送和接收

RTP報文的構造和傳送發生在編碼器編碼之後、網路層傳送資料包之前，而接收和解包發生在網路層接收資料之後、解碼器編碼之前。本節詳細分析這兩部分的內容。
 

1RTP報文構造和傳送

下圖描述傳送端編碼之後RTP報文的構造和傳送過程，涉及三個執行緒：Encoder、Pacer和Network，分別負責編碼和構造RTP報文，平滑傳送和傳輸層傳送。下面詳細描述這三個執行緒的協同工作過程。

RTP報文構造和傳送：

Encode執行緒呼叫編碼器(比如VP8)對採集到的Raw VideoFrame進行編碼，編碼完成以後，其輸出EncodedImage通過回撥到達VideoSendStream::Encoded()函式，進而通過PayloadRouter路由到ModuleRtpRtcpImpl::SendOutgoingData()。接下來，該函式向下呼叫RtpSender::SendOutgoingData()，進而呼叫RtpSenderVideo::SendVideo()。該函式對EncodedImage進行打包，然後填充RTP頭部構造RTP報文；如果配置了FEC，則進一步封裝為FEC報文。最後返回RtpSender::SendToNetwork()進行下一步傳送。

RtpSender::SendToNetwork()函式把報文儲存到RTPPacketHistory結構中進行快取。接下來如果開啟PacedSending，則構造Packe傳送到PacedSender進行排隊，否則直接傳送到網路層。

Pacer執行緒週期性從佇列中獲取Packet，然後呼叫PacedSender::SendPacket()進行傳送，接下來經過ModuleRtpRtcpImpl到達RtpSender::TimeToSendPacket()。該函式首先從RtpPacketHistory快取中拿到Packet的負載，然後呼叫PrepareAndSendPacket()函式：更新RtpHeader的相關域，統計延遲和資料包，呼叫SendPacketToNetwork()把報文傳送到傳輸模組。

Network執行緒則呼叫傳輸層套接字執行資料傳送操作。至此，傳送端的RTP構造和傳送流程完成。需要注意的是，在RtpSender中進行Rtp傳送後，會統計RTP報文相關資訊。這些資訊作為RTCP構造SR/RR報文的資料來源，因此非常重要。
 

2RTP報文接收和解析

在接收端，RTP報文的接收和解包操作主要在Worker執行緒中執行，RTP報文從Network執行緒拿到後，進入Worker執行緒，經過解包操作，進入VCM模組，由Decode執行緒進行解碼，最終由Render執行緒進行渲染。下圖描述RTP報文在Worker執行緒中的處理流程。

RTP報文接收和解析：

RTP資料包經網路層到達Call物件，根據其SSRC找到對應的VideoReceiveStream，通過呼叫其DeliverRtp()函式到RtpStreamReceiver:eliverRtp()。該函式首先解析資料包得到RTP頭部資訊，接下來執行三個操作：1.位元速率估計；2.繼續傳送資料包；3.接收統計。位元速率估計模組使用GCC演算法估計位元速率，構造REMB報文，交給RtpRtcp模組傳送回傳送端。而接收統計則統計RTP接收資訊，這些資訊作為RTCP RR報文的資料來源。下面重點分析接下來的資料包傳送流程。

RtpStreamReceiver::ReceivePacket()首先判斷資料包是否是FEC報文，如果是則呼叫FecReceiver進行解包，否則直接呼叫RtpReceiver::IncomingRtpPacket()。該函式分析RTP報文得到通用的RTP頭部描述結構，然後呼叫RtpReceiverVideo:arseRtpPacket()進一步得到Video相關資訊和負載，接著經過回撥返回RtpStreamReceiver物件。該物件把Rtp描述資訊和負載傳送到VCM模組，繼續接下來的JitterBuffer快取和解碼渲染操作。

RTP報文解包過程是封包的逆過程，重要的輸出資訊是RTP頭部描述和媒體負載，這些資訊是下一步JitterBuffer快取和解碼的基礎。另外對RTP報文進行統計得到的資訊則是RTCP RR報文的資料來源。

5、RTCP報文傳送和接收

RTCP協議是RTP協議的控制下可以，負責流媒體的服務質量保證。比較常用的RTCP報文由傳送端報告SR和接收端報告RR，分別包含資料傳送統計資訊和資料接收資訊。這些資訊對於流媒體質量保證非常重要，比如位元速率控制、負載反饋，等等。其他RTCP報文還有諸如SDES、BYE、SDES等，RFC3550對此有詳細定義。

本節重點分析WebRTC內部RTCP報文的構造、傳送、接收、解析、反饋等流程。需要再次強調的是，RTCP報文的資料來源來自RTP報文傳送和接收時的統計資訊。在WebRTC內部，RTCP報文的傳送採取週期性傳送和及時傳送相結合的策略：ModuleProcess執行緒週期性傳送RTCP報文；而RtpSender則在每次傳送RTP報文之前都判斷是否需要傳送RTCP報文；另外在接收端位元速率估計模組構造出REMB報文後，通過設定超時讓ModuleProcess模組立即傳送RTCP報文。
 

1RTCP報文構造和傳送

在傳送端，RTCP以週期性傳送為基準，輔以RTP報文傳送時的及時傳送和REMB報文的立即傳送。傳送過程主要包括Feedback資訊獲取、RTCP報文構造、序列化和傳送。下圖描述了RTCP報文的構造和傳送過程。

RTCP報文構造和傳送：

ModuleProcess執行緒週期性呼叫ModuleRtpRtcpImpl:rocess()函式，該函式通過RTCPSender::TimeToSendRtcpReport()函式確定當前是否需要立即傳送RTCP報文。若是，則首先從RTPSender::GetDataCounters()獲取RTP傳送統計資訊，然後呼叫RTCPSender::SendRTCP()，接著是SendCompoundRTCP()傳送RTCP組合報文。關於RTCP組合報文的定義，請參考文獻[1]。

在SendCompoundRTCP()函式中，首先通過PrepareReport()確定將要傳送何種型別的RTCP報文。然後針對每一種報文，呼叫其建構函式(如構造SR報文為BuildSR()函式)，構造好的報文儲存在PacketContainer容器中。最後呼叫SendPackets()進行傳送。

接下來每種RTCP報文都會呼叫各自的序列化函式，把報文序列化為網路位元組流。最後通過回撥到達PacketContainer::OnPacketReady()，最終把位元組流傳送到傳輸層模組：即通過TransportAdapter到達BaseChannel，Network執行緒呼叫傳輸層套接字API傳送資料到網路。

RTCP報文的構造和傳送過程總體不是很複雜，最核心的操作就是獲取資料來源、構造報文、序列化和傳送。相對來說構造報文和序列化比較繁瑣，基於RFC定義的細節進行。
 

2RTCP報文接收和解析

接收端的RTCP報文接收和解析過程如下圖所示：

在接收端，RTCP報文的接收流程和RTP一樣，經過網路接收之後到達Call物件，進而通過SSRC找到VideoReceiveStream，繼而到達RtpStreamReceiver。接下來RTCP報文的解析和反饋操作都在ModuleRtpRtcpImpl::IncomingRtcpPacket()函式中完成。該函式首先呼叫RTCPReceiver::IncomingRtcpPacket()解析RTCP報文，得到RTCPPacketInformation物件，然後呼叫 TriggerCallbacksFromRTCPPacket()，觸發註冊在此處的各路觀察者執行回撥操作。

RTCPReceiver::IncomingRtcpPacket()使用RTCPParser解析組合報文，針對每一種報文型別，呼叫對應的處理函式(如處理SDES的HandleSDES函式)，反序列化後拿到報文的描述結構。最後所有報文綜合在一起形成RTCPPacketInformation物件。該物件接下來作為引數呼叫TriggerCallbacksFromRTCPPacket()函式觸發回撥操作，如處理NACK的回撥，處理SLI的回撥，處理REMB的回撥，等等。這些回撥在各自模組控制流媒體資料的編碼、傳送、位元速率等服務質量保證，這也是RTCP報文最終起作用的地方。

至此，我們分析了RTCP報文傳送和接收的整個流程。

6、小結

本文在深入分析WebRTC原始碼的基礎上，結合流程圖描述出RTP/RTCP模組的實現流程，在關鍵問題上(如RTCP報文的資料來源)進行深入細緻的研究。為進一步深入掌握WebRTC的實現原理和細節打下良好基礎。

網易雲信，你身邊的即時通訊和音視訊技術專家，瞭解我們，請戳網易雲信官網

想要閱讀更多行業洞察和技術乾貨，請關注網易雲信部落格

本文轉載自52im,作者：JackJiang