宣告：本文為CSDN原創投稿文章，未經許可，禁止任何形式的轉載。
作者：七牛雲
責編：錢曙光，關注架構和演算法領域，尋求報道或者投稿請發郵件[email protected]，另有「CSDN 高階架構師群」，內有諸多知名網際網路公司的大牛架構師，歡迎架構師加微信qshuguang2008申請入群，備註姓名+公司+職位。

七牛雲於6月底釋出了一個針對視訊直播的實時流網路LiveNet和完整的直播雲解決方案，很多開發者對這個網路和解決方案的細節和使用場景非常感興趣。

結合該實時流網路LiveNet和直播雲解決方案的實踐，我們將用七篇文章，更系統化地介紹當下大熱的視訊直播各環節的關鍵技術，幫助視訊直播創業者們更全面、深入地瞭解視訊直播技術，更好地技術選型。

本系列文章大綱如下：

（一）採集
（二）處理
（三）編碼和封裝
（四）推流和傳輸
（五）現代播放器原理
（六）延遲優化
（七）SDK效能測試模型

在上期採集中，我們介紹了視訊採集針對音訊採集和影象採集以及它們分別對應兩種完全不同的輸入源和資料格式。本篇是《解密視訊直播技術》系列之二：處理。我們將講解常見視訊處理功能如美顏、視訊水印、濾鏡、連麥等。

視訊或者音訊完成採集之後得到原始資料，為了增強一些現場效果或者加上一些額外的效果，我們一般會在將其編碼壓縮前進行處理，比如打上時間戳或者公司Logo的水印，祛斑美顏和聲音混淆等處理。在主播和觀眾連麥場景中，主播需要和某個或者多個觀眾進行對話，並將對話結果實時分享給其他所有觀眾，連麥的處理也有部分工作在推流端完成。

一、開放式設計

如上圖所示，處理環節中分為音訊和視訊處理，音訊處理中具體包含混音、降噪和聲音特效等處理，視訊處理中包含美顏、水印、以及各種自定義濾鏡等處理。對於七牛這樣的直播雲服務來說，為了滿足所有客戶的需求，除了要提供這些「標準」處理功能之外，我們還需要將該模組設計成可自由接入自定義處理功能的方式。

二、常見視訊處理功能

1. 美顏

都說「80%的主播沒有美顏根本沒法看」，美顏是直播產品中最常見的功能之一。最近準備在香港上市的美圖公司的主打產品就是美顏相機和美拍，有媒體戲稱其會衝擊化妝品行業，其實就是美顏的效果的功勞，讓美女主播們不化妝也可以自信的直播，而美顏相機的使用者則可以拍出「更好的自己」。

美顏的主要原理是通過「磨皮+美白」來達到整體美顏的效果。磨皮的技術術語是「去噪」，也即對影象中的噪點進行去除或者模糊化處理，常見的去噪演算法有均值模糊、高斯模糊和中值濾波等。當然，由於臉部的每個部位不盡相同，臉上的雀斑可能呈現出眼睛黑點的樣子，對整張影象進行「去噪」處理的時候不需要將眼睛也去掉，因此這個環節中也涉及到人臉和面板檢測技術。

七牛直播雲提供的iOS和Android推流SDK中內建了美顏功能，你可以根據自己的需要選擇開關美顏功能，並且能夠自由調節包括美顏，美白，紅潤等在內的引數。其中iOS端SDK PLCameraStreamingKit的引數設定如下：

1）按照預設引數開啟或關閉美顏：
-(void)setBeautifyModeOn:(BOOL)beautifyModeOn;

2）設定美顏程度，範圍為0~1：
-(void)setBeautify:(CGFloat)beautify;

3）設定美白程度，範圍為0~1：
-(void)setWhiten:(CGFloat)whiten;

4）設定紅潤程度，範圍為0~1：
-(void)setRedden:(CGFloat)redden;

2. 視訊水印

水印是圖片和視訊內容中常見的功能之一，它可用於簡單是版權保護，或者進行廣告設定。處於監管的需求，國家相關部門也規定視訊直播過程中必須打上水印，同時直播的視訊必須錄製儲存下來儲存一定的時間，並在錄製的視訊上打上水印。

視訊水印包括播放器水印和視訊內嵌水印兩種方式可供選擇，對於播放器水印來說，如果沒有有效的防盜措施，對於沒有播放鑑權的推流，客戶端拿到直播流之後可以在任何一個不帶水印的播放器裡面播放，因此也就失去了視訊保護的能力。綜合考慮雲端錄製對於水印的需求，我們一般會選擇「視訊內嵌水印」的方式打水印。

七牛直播雲提供的iOS和Android推流SDK中也內建了水印功能，你可以根據自己的需要新增水印或移除水印，並且能夠自由設定水印的大小和位置。其中iOS端SDK PLCameraStreamingKit的引數設定如下：

1）新增水印

-(void)setWaterMarkWithImage:(UIImage *)wateMarkImage position:(CGPoint)position;

該方法將為直播流新增一個水印，水印的大小由wateMarkImage的大小決定，位置由position決定，需要注意的是這些值都是以採集資料的畫素點為單位的。例如我們使用AVCaptureSessionPreset1280x720進行採集，同時wateMarkImage.size為(100, 100)對應的origin為(200, 300)，那麼水印的位置將在大小為1280x720的採集畫幅中位於(200, 300)的位置，大小為(100, 100)。

2）移除水印

-(void)clearWaterMark;

3. 濾鏡

除了上面提到的美顏和水印之外，視訊中還有很多其它的處理效果也在這個環節完成。七牛直播雲提供的SDK在開放性設計基礎之上，通過資料來源回撥介面，可以支援各種自定義濾鏡的接入。

為了實現豐富的濾鏡效果，在iOS端可以考慮使用GPUImage這個庫，這是一個開源的基於GPU的圖片或視訊的處理框架，內建了多達120多種常見的濾鏡效果。有了它，新增實時的濾鏡只需要簡單地新增幾行程式碼，還可以基於這個庫自己寫演算法實現更豐富端效果。GPUImage地址：https://github.com/BradLarson/GPUImage

同時，Google官方也開源了一個偉大的庫，覆蓋了Android上面很多多媒體和圖形影象相關的處理：https://github.com/google/grafika

4. 連麥

連麥是互動直播中常見的需求，其流程如上圖所示。主播和部分觀眾之間可以進行實時互動，然後將互動結果實時播放給其他觀眾觀看。基於以上業務需求，我們很容易想到基於單向直播原理，在主播端和連麥觀眾端進行雙向推流和雙向播流的方式互動，然後在服務端將兩路推流合成一路推送給其他觀眾。但RTMP帶來的延遲決定了這種方式無法做到使用者可接受的互動直播。實際上，互動直播的主要技術難點在於：

1）低延遲互動：保證主播和互動觀眾之間能夠實時互動，兩者之間就像電話溝通，因此必須保證兩者能在秒級以內聽到對方的聲音，看到對方的視訊；

2）音畫同步：互動直播中對音畫同步的需求和單向直播中類似，只不過互動直播中的延遲要求更高，必須保證在音視訊秒級傳輸情況下的秒級同步。

3）音視訊實時合成：其他觀眾需要實時觀看到對話結果，因此需要在客戶端或者服務端將畫面和聲音實時合成，然後以低成本高品質的方式傳輸觀眾端。

在視訊和電話會議領域，目前比較成熟的方案是使用思科或者WebEx的方案，但這些商用的方案一不開源，二比較封閉，三成本比較高。對於互動人數比較少的互動直播，目前市場上比較成熟的方案是使用基於WebRTC的實時通訊方案。

上圖是一個基於WebRTC協議實現多方實時通訊的示意圖，本地使用者（主播）和遠端使用者（連麥觀眾）之間的連線通過RTCPeerConnection API管理，這個API包裝了底層流管理和信令控制相關的細節。基於該方案可以輕鬆實現多人（14人以下）的多方實時通訊，如下圖所示：

當然，在通訊人數少的情況下，其複雜度相對簡單，如2人情況下。但人數增多至4人之後，其可選的網路結構就增多了，如上圖所示，可以每個點之間形成自組織網路的方式通訊，也可以以1人為中心形成星型通訊網路，還可以讓大家都通過一個集中式的服務端進行通訊。

作為一個高效能、可伸縮的直播基礎服務提供商，七牛直播雲經過評估選擇了以主播為中心形成星形通訊網路，支援主播和多個觀眾之間的互動質量。同時，為了保證合成後的音視訊實時傳輸到其他觀眾端，這裡採用經過改造的UDP協議傳輸：

1. 通過UDP降低傳輸延遲；
2. 在UDP之上進行傳輸控制，保證使用者互動體驗QoS。

在下一篇連載中，我們將介紹現代播放器原理，敬請期待！

2016年9月22日-23日，SDCC 2016大資料技術&架構實戰峰會將在杭州舉行，兩場峰會大牛講師來自阿里、京東、蘇寧、唯品會、美團點評、遊族、餓了麼、有贊、Echo等知名網際網路公司，共同探討海量資料下的應用監控系統建設、異常檢測的演算法和實現、大資料基礎架構實踐、敏捷型資料平臺的構建及應用、音訊分析的機器學習演算法應用，以及高可用/高併發/高效能系統架構設計、電商架構、分散式架構等話題與技術。
9月4日24點前仍處於最低六折優惠票價階段，單場峰會（含餐）門票只需499元，5人以上團購或者購買兩場峰會通票更有特惠，限時折扣，預購從速。（票務詳情連結）。