作為產業一年的風向標，“2019IPTV&OTT產業高峰論壇”能幫助業界感知政策、技術、產品和市場走向。在這個背景下，網易易盾人工智能首席科學家方正受邀參加了本次高峰論壇，分享了互聯網行業的發展、常見有害信息、內容行業面臨的技術難題，以及網易易盾是如何進行解決。

以下是本次演講的實錄：

各位領導、各位來賓，我的分享主題是人工智能與晴朗網絡空間。由於我的出身就是工程師的背景，下面介紹的內容可能有些偏重技術方面一點。

最近幾年，隨著互聯網技術和通訊技術的發展，越來越多的人開始使用互聯網。據統計報道，2018年中國的上網人數首次超過8億，平均每周人均上網時間也超過28小時，人們開始把大量的時間花在網上，閱讀新聞、觀看電影電視劇、聊天交友中，上網娛樂已經成為了生活當中不可缺少的一部分。另一方面，手機、平板電腦和移動終端設備的普及，也成為了互聯網飛速發展的重要推動因素。現在大家只要有一部手機都可以成為記者、成為主播，這實現了無數人登臺表演、受人關註的夢想，但這也為垃圾數據的制造和傳播創造了更多的條件。

平時我們的上網過程當中，大家經常會看到各種各樣的垃圾數據，比如常見的×××、謾罵、違禁和廣告，比如在視頻網站當中大家經常看到粉絲對某個明星進行謾罵***，還有不明真相的網友對政府機關進行惡意點評。×××的信息、××××××信息，這些廣告也是無處不在。讓我們比較頭疼的是×××視頻和節目，也是對正在成長發育的青少年造成了很大的身心危害。

認識到這一點，國家和政府在2015年就提出建設綠色健康網絡空間，已經把網絡信息安全確定為重要的國家發展戰略，但是依靠傳統的人工審核內容管理機制已經不能滿足現在互聯網那種海量數據的場景實際情況要求。我們經常在新聞當中看到各種各樣的網站、APP，因為存在一些違禁內容被下架、關停。

而且最近幾年這類新聞也是越來越多。對海量數據進行有效的內容安全審核過濾，已經成為各個互聯網公司需要面對和需要解決的技術難題。當然，這也促使我們不斷思考怎麽在技術上突破改進，實現和保障互聯網海量數據的內容安全。

通過平時的實踐分析，針對網絡內容安全，我們總結歸納幾個相對傳統文本分類、圖像識別不同特點和難點，主要概括為以下三個方面：1.應用服務的場景更多，2.處理的數據變種更快，3.檢測粒度更細。

產品應用場景中的多意義

不同於平時我們看到的新聞內容分類和電商情感分類，那些主要是針對單一的互聯網產品，互聯網內容安全往往要處理的應用場景多種多樣。比如我們經常看到的博客、彈幕評論、小說、客服對話等等各種產品和場景，甚至有時還會有文言文的情況。也正是因為這些應用場景的多種多樣導致了多義詞現象的普遍，比如蘋果和土豆，我們以為就是平時的水果蔬菜名字，但是互聯網新聞報道當中正好對應著蘋果手機、蘋果電腦、優酷土豆這樣的視頻網站，機器理解就會造成很大的偏差，另外一些英文單詞的縮寫也會造成一詞多義的現象。AV這個詞在彈幕評論當中大家一下子就會想到是×××的意思，但是在做內容安全當中會發現一些音樂發燒友用AV這個詞代表的就是音頻（audio）視頻（video）設備的意思，所以對內容安全檢測造成很大的困難。

數據變種快

而第二個特點，內容安全當中遇到的數據變種非常快，主要有兩方面內容：1.數據自身會不斷變化，2.人為因素造成的變化。數據變化主要是因為社會不斷發展，一些詞語具有新的含義，產品也具有新的外觀，這就導致數據分布產生巨大的變化，原有的內容安全系統的效果和性能就大打折扣。比如之前發生的紅黃藍事件、法國黃背心運動，這些原本只是表示顏色衣服的詞在現在的互聯網環境當中具有了新的含義。人為因素造成的變化較快，主要是因為廣告信息的發布者一直在不斷地尋找內容安全系統的漏洞，不斷添加幹擾符。互聯網內容安全相對數據挖掘人工智能競賽具有更多的難度和挑戰，因為那些競賽當中處理的數據都是靜態的、死的數據，但業務當中遇到的大部分數據都是動態的、活的數據，也會不斷變化。

檢測粒度細

第三，內容安全中檢測粒度更細的特點，也包含兩方面的內容：1.內容語法結構上的粒度細；2.檢測輸出結果標準程度上的粒度細。內容安全檢測任務中要求精確到具體的內容語法結構，需要區分具體主語賓語指的是什麽。比如謾罵***的垃圾數據檢測中，需要區分是對當代人物的謾罵，還是對歷史小說虛構人物的謾罵，這就有別於傳統的新聞內容分類，只要一篇文章的全局主題類別進行識別就行，而內容安全當中需要有非常細的檢測粒度。另外彈幕評論的場景也大大提高了垃圾信息的檢測難度，有些用戶使用的語言習慣相當隨意，經常缺省一些主語賓語，甚至會使用錯別字、同音詞來借代，這也進一步提高了檢測難度。而另一方面，檢測結果標準程度上的粒度細，主要原因是：接入和服務的客戶多種多樣，有的客戶在違禁定義的標準各不相同，比如小學生作業幫APP針對×××的標準是嚴格零容忍，絕對不能出現，但是在小說藝術作品和影視作品當中，針對裸露的描寫和鏡頭有一定的容忍性。因為不同的客戶要求不一樣，同一款的內容安全系統分類器就很難滿足大家不同的需求。

除了前面介紹的幾點內容安全上存在的特點和難點，作為一個中小企業，進行內容安全系統建設面臨的困難和挑戰也更多。數據角度方面，中小企業往往沒有海量的數據，但是數據上的缺乏就會導致模型內容安全系統效果的局限性和滯後性。前面提到數據不斷動態變化，模型是會隨著時間變化性能下降的，如果不投入人力、物力進行維護的話就難以維持原有的效果。中小企業進行自建內容安全，這部分負擔其實也非常難以承受。

正是看到這些行業背景和市場需求，網易基於二十一年的內容安全數據和技術積累，結合海量特征庫，運用人工智能、大數據技術，面向市場推出網易易盾內容安全服務。針對前面提到的各種特點和難點，易盾的工程師針對性地進行了技術開發並且予以解決。

針對前面提到的場景當中多義詞現象的問題，易盾自主研究了語義池挖掘算法，通過挖掘關鍵目標主題下的語義池，訓練不同的詞向量模型，確定上下文語義關系圖，實際應用當中根據這些關系圖確定和定位具體多義詞表示的是什麽含義。

針對數據變種快的問題，易盾的工程師也從特征和模型進行針對性的開發。從特征角度的技術解決方案主要針對廣告變種問題，比如廣告發布者經常添加同音詞、形近詞進行幹擾，易盾運用大數據算法技術挖掘這些詞的使用規律，並對每個詞建立偏旁部首筆畫屬性特征，通過聯合聚類構造出高階語義智能詞庫，輔助實際的有害信息過濾檢測器，提高內容識別的效果。

從模型角度的技術解決方案，主要針對敏感社會事件的檢測。易盾開發在線學習算法，實時捕獲新環境下產生的新特征新含義，使得模型特征和參數能夠及時更新、進化和調整，這樣減緩模型檢測性能下降的問題。

按照檢測力度細的特點，這裏簡單舉一個例子：怎麽滿足不同的客戶在違禁標準上不同的問題，我們知道不同的客戶產品內容垃圾違禁標準各不相同，易盾開發跨領域的知識遷移學習算法，挖掘不同產品之間的共性特征和個性化特征，針對每個產品和行業領域建立不同的分類器，通過聯合訓練機制最終提高模型適應度和準確率，為不同客戶產品提供個性化的內容安全服務。

前面提到的都是針對產品特點的技術解決方案，作為第三代內容安全技術核心的人工智能技術，其實已經廣泛應用到現在易盾的各種有害信息過濾場景。人工智能技術相對傳統機器學習算法有著明顯的優勢和特點，比如具有相同詞語的兩句話，詞語的順序不同，表達的意思也會不同，但是按照傳統的機器學習算法進行數據處理時，經過獨熱編碼後，會得到相同的數據向量，這就不能識別兩句話的不同意思。而人工智能技術當中RNN、LSTM神經網絡模型可以針對句子語序結構進行理解，也對詞語序列進行編碼，從而能夠識別兩句話的不同意思，最後提高垃圾檢測的精準度。

除了內容識別領域，人工智能技術在其它方面也有很多應用。最近新聞中大家一定看到很多人工智能技術進行視頻換臉的報道。根據新聞報道，現在效果已經達到以假亂真的程度。很多熱心網友都表示很擔憂，擔心這個技術的濫用可能會對用戶驗證登錄、新聞視頻的真實性造成危害。其實並不需要這些擔心，其實人工智能技術在合成這些假視頻假臉的同時也能對它們進行有效的識別。盡管新聞報道當中這些圖片效果都是非常逼真，但還是存在不少漏洞和細節。比如頭發、背景文字、常識邏輯特征當中，從視頻裏逐幀來看都有不少細節破綻和漏洞。合成的人臉頭發效果經常會有種不自然，很僵硬的感覺，沒有自然的那種柔順的感覺，就像潑上去的油漆一樣，而且合成的假臉的背景文字效果經常是玄幻或者模糊不清的，和真實的人臉圖片大不相同。另外，我們知道人臉是具有對稱性，合成的假臉還遠遠達不到那麽完美，可能會有一只眼睛大一只眼睛小的問題，有的女性臉上還會有男性的胡子。

當然，人工智能技術不僅能夠識別剛才我們看到的這些肉眼能夠看出的細節和漏洞，人工智能技術在細節捕捉的能力方面遠遠超過人類，可以識別出更多人類肉眼看不見的細節漏洞出來，從而實現視頻內容的檢測。上圖展示的就是人工智能當中的神經網絡，CNN處理圖像內容進行識別的過程。神經網絡會先探測圖片內容當中邊緣信息，根據邊緣信息探測圖片中的紋理信息，然後根據紋理信息進一步探測更高級、更抽象的模式信息，就這樣通過網絡一層一層的信息抽取和傳遞，識別圖片內容所需要的各種細節部分都被神經網絡學習到了，神經網絡的內容識別能力最後甚至會達到超越人類的水平。從上面幾組熱力圖中可以看到，神經網絡覺得最敏感具有嫌疑的部位，其實和肉眼觀察的常識都相當吻合。

除了CNN卷積神經網絡，其實人工智能技術中的對抗生成網絡GAN也是識別這些合成視頻、假臉視頻的一個有效技術。我們來看對抗生成神經網絡技術，它包含了兩個部分的結構：一部分是生成網絡，另一部分是鑒別網絡。這樣說可能比較枯燥，舉個例子，《射雕英雄傳》大家都看過，周通的絕技就是左右互搏，對抗生成網絡就和這套武功差不多，生成網絡是左手，鑒別網絡是右手，左手不斷出招制造各種假臉假視頻，右手不斷拆招識別這是真臉還是假臉，就像練武功一樣不斷叠代，神經網絡的性能效果就能被訓練成遠遠超過人類水平，前面提到的這種假視頻假臉基本上都能夠被識別出來。

易盾在技術的研發和創新也多次受到了國際同行的關註和認可

值得一提的是，易盾實驗室的工程師在2017年就對這項對抗生成網絡技術做了研究，並且已經把這項技術應用在現在的視頻內容檢測、圖像內容檢測的服務中。當年年會展示的黑科技當中，實驗室的工程師還把明星演員的臉合成到自己新年拜年的節目當中，那個視頻效果來看也已經達到以假亂真的逼真效果。另外，易盾在內容安全方面的科研、創新和努力也有多次受到了國際同行的關註和認可，2017年易盾的工程師就關於對抗生成網絡的兩項研究成果進行了論文發表，在當年的國際人工智能計算機視覺頂級大會中還做了分享和介紹，和國際學者同行關於技術問題進行了探討和交流。

除了科研方面，易盾工程師對市場的洞察和用戶的需求方面也非常重視，通過不斷研發來滿足各種平臺和企業客戶的需求。比如，傳統的音頻檢測方法需要將音頻信息轉化為文字信息，然後對文字信息再進行審核過濾，但是隨著市場動態變化，我們發現很多直播平臺中出現了很多嬌喘聲、呻吟聲的×××數據，按照傳統的方法無法檢測識別出來。看到這種需求，我們的工程師及時調整研發方向和內容，開發了聲紋檢測技術，不需要通過文字的轉換，就可以檢測嬌喘聲、呻吟聲的×××類別數據。目前易盾音頻檢測還可以支持多種國家的語言，現在支持的語言包括英語、泰語、印尼語等。

自從易盾面向市場以來，我們的工程師一直保持著積極進取、不斷開拓的心態，通過不斷的叠代研發，為更多的企業和客戶帶來更好的服務質量，受到了行業的廣泛好評和認可。2018年易盾為行業檢測的數據量就已經達到3000+億條之多。

目前易盾接入和服務的客戶已經達到數千家之多，包括知乎、OPPO、VIVO、一直播、魅族、攜程等。相信在不久的未來，易盾在互聯網內容安全方面的技術肯定會達到更高的水平，我們期待著能夠與更多的機構合作，也希望通過合作為更多的企業和客戶提供更多優質的服務和產品。

謝謝。

場景多、變種快、粒度細，網易易盾是如何有效解決這些內容安全難題的？