2018 年 11 月 14 日至 11 月 18 日，第二十屆中國國際高新技術成果交易會（簡稱高交會）在深圳成功舉辦，七牛雲作為國內領先的以數據智能和視覺智能為核心的企業級雲計算服務商受邀參展。

11 月 16 日，在以「數造中國 定義未來」為主題的 2018 中國人工智能領袖峰會上，七牛雲獲得了「AIC 青藤獎」。同時七牛雲人工智能實驗室創始人彭垚為大家帶來了題為《智能平臺的創新和發展》的內容分享。

（「AIC 青藤獎」）

以下是關於演講內容的實錄整理。

七牛雲是一家專註在智能視頻雲領域的企業，像秒拍、抖音、美圖秀秀這些大家日常在用的耳熟能詳的 APP，它們所有的數據都存在七牛雲，圖像、音視頻、語音的處理，以及內容的分發都由我們來做。

（七牛雲人工智能實驗室創始人彭垚）

今天給大家分享的主要是七牛雲在 AI 領域所做的事情。

整個人工智能平臺上 80% 以上的數據均來源於視覺，其中以音視頻、圖像為主，所以整個智能體系中最重要的環節就是視覺智能。視覺智能主要還是針對於互聯網上，每天通過手機上的 APP 自拍，在美拍、秒拍自動上傳之後，再通過人臉識別、深度學習等進行處理。除此之外，在這些過程中也會產生一些其他的結構化或日誌的數據，所以會通過我們的數據智能做一些數據的分析，包括一些機器語言的理解。下面是七牛雲之前比較重要的直播、點播、實時音視頻互動和播放器的能力，底層還有一些基礎的能力，包括雲主機、容器計算、海量存儲和智能網絡。

AtLab 核心創新體系

七牛雲整個 AI 邏輯的產生用這張圖就可以表示出來。

我們有三大 AI 平臺，一個是智能多媒體 API 平臺。把視頻和圖像導入，通過智能多媒體 API 平臺可以把圖像和視頻認知的結果，比如說人臉識別的結果輸出，這個平臺就會支撐各種各樣的模型。在這個過程中會產生很多的數據，這些數據我們會把它結構化，把視頻圖像標準化，建立整個的視頻圖譜。利用視頻圖譜把數據入庫制作成想要的樣本，然後再做一些標註。做完之後會再把這些數據標註完的信息資料導入到深度學習平臺中去做學習，學習完就可以把視頻生成，這是三大雲平臺的邏輯。

在這三大平臺之上，內容安全是第一重要的模塊；第二塊是城市慧眼，我們做了各式各樣的識別場景，包括各類車輛的檢測；第三塊是媒資智能，有很多廣電的客戶找到我們，這些客戶同樣有大量的視頻數據，我們可以幫他們做快速的編輯、審核、檢索等業務；第四塊是創新計劃，我們有一個專門的投資，來做各種有意思的創新任務。

一站式多維度內容審核—「明瞳」

「明瞳」是一站式內容審核的產品，主要面向廣大的互聯網企業。大家都了解，最近很多的互聯網 APP 都被關停，就是因為上面的違規違法內容太多，對我們生活的影響，特別是青少年的影響是比較大的。一方面七牛雲在服務這些互聯網企業，一方面我們也在給政府，包括網信辦、網安、廣電總局提供我們的系統，協助他們去做審核。

傳統的審查方式有：平臺自查，可能會招一萬個人去做人工審核。然後也有政府的監管方式，比如說群眾舉報，通過很多熱線電話、網上舉報的渠道。在舉報之後，像網信辦、網安這些政府機構一般都會去查處。現在也會利用七牛雲的平臺，自動地做爬蟲檢查，檢查這些違規違法的行為。這三個方式方法實際上還是有非常多的痛點，因為有很多違規違法的內容還是一直在互聯網上流傳。

傳統方法怎麽用機器去查違規違法內容？

最早網安提出的一個方案是拿圖像視頻 MD5 的文件，把 MD5 值求出來，如果找到一樣的就認為它是有問題的。一旦有一些新的違規違法視頻，再通過人工把它轉進來。違規內容持續流傳，只是說相同的文件會找到，但實際上大部分的文件還是存在略微的差別，所以是完全的找不到。

現在市面上也有很多類似的企業，他們基本上采用的方法是用視頻單幀的考核模型，這個現在比較主流，有很多插幀的視頻會遺漏掉，如果抽走一小段視頻，這可能是行為分析，也不會被留意到，所以通過單幀的識別模型還是做不到。

我們現在用的是視頻結構化多維度識別，國家網信辦、中央網信辦和很多地方網信辦現在都在沿用這一套系統，我們和網安總局、公安部還開設了聯合實驗室。

給大家分享一下整個做視頻監控雲這一套技術的方案。

對一個視頻來說首先要提前做分鏡頭切割。鏡頭切割就是，比如你有一個長視頻，一個鏡頭是對的，你可以切過來放到這裏。首先要把視頻段切割出來，每一個視頻大多是定景的拍攝。切割完之後對每個視頻段進行評估，包括行為的識別、涉黃低俗的識別、片段中的語音提取。語音提取需要做特殊聲音的比對，包括低俗的、奇怪的聲音，都是要通過特殊的聲音去識別出來；文字的識別，包括像自然的語言處理、字幕翻譯；然後還有動作的識別，動作其實是比較難捕捉的，比如性暗示行為的識別；還有場景和物品的識別，有一些特殊的物品和場景是違規的。通過這五大板塊內容的識別，加上視頻時序特征的疊加，我們就可以查處到這個內容的合法性，包括追溯到這個內容的區域、網絡，去做整體的查處。

「明瞳」內容安全產品具有較多的優勢，視頻算法團隊在國際上獲得了非常多的獎，在視頻競賽中拿到了很多國際大獎。目前已經服務了很多互聯網企業，每天審核超過 2 億的視頻，當然這個數據量還在增長，日均的審核量我們預測會超過 10 億。

「明瞳」內容安全現在審核的主要類別有：涉×××內容、涉敏感內容、涉暴恐內容、涉低俗內容，每一個大分類下還有非常非常多的細分類，所以對審核的認知，首先它有一個很大的審核知識圖譜，它建立的過程會通過一些新的東西去學習、去增加。

這個審核對互聯網公司來說，看起來非常簡單，如果你是存儲在七牛雲上的，直接打開開關，它就會開始自動審核。而且我們後臺也有人工復核，不需要搭建任何的審核系統，就可以幫你全部做到。

智能化城市管理新模式—「城市慧眼」

下面介紹城市慧眼相關的內容。在上海、廣東以及全國各地很多城市進行的智能化城市建設中，我們主要承擔的是 AI 人工智能和視頻的建設工作。

我們把城市慧眼 AI 分為這六大能力：城市安防，包括人臉動態靜態的比對、人員立體追蹤、重點人群管理、走失人群的搜尋。還可以做一些在崗督查的工作，監督這個人員上班是不是在待工，有沒有玩手機、抽煙、睡覺。還有車輛管理，包括像渣土、環衛等整體的管理，每一種車輛的違規標準都可以識別出來的。一些違法的拉橫幅行為也都可以識別。

在上海外灘陸家嘴濱江大道，我們用一個高速的算法做目標跟蹤，技術是非常精準的。可以洞察關鍵路口多方向人流量變化情況，掌握人流規律，適時引導人流方向。

在重點區域還可設置違規告警。在黃線外面，保安在的地方是不允許溜狗的，就會告警讓他回去。共享單車不允許停靠的地方，我們也會第一時間識別出來。

這是黃埔外灘的人流密度方向監控。監控的方法實際上是人流密度的計算。如果人頭密度非常低的時候，它會畫一條線，有可能人數增長就會出現擁堵的現象，上面這個圖就是通過人頭的方式去做人員密度的整體評估，包括很多的方位。下面這個圖實際上有很多的箭頭，它可以通過不同的顏色標註不同的人群，通過箭頭知道人的行走方向，所以通過這兩個視頻綜合判定出人流的走向和人流聚集的方向，這樣就可以去做快速的人員疏導和預警。

大型馬拉松活動是有一個大部隊，這時候人是非常多的，行人亂竄或者車輛的危險進入可以通過無人機去做全程的跟蹤。

整個城市慧眼安防監控的系統由這幾個部分組成：人體、物體、場景，還有人像的一套識別系統，我們對應可以去做的能力，包括檢測識別、智能檢索、行為分析。整個安防監控產品，通過計算機視覺 + 人工智能的能力，可以去做智能發現、實時預警、快速處置、長效治理。

然後是做行人再識別。其實能做人臉識別的攝像頭是非常少的，就算這個攝像頭能做人臉識別，但如果人背對著攝像頭也是識別不了的。ReID，通過行人行走的姿態，上中下的特征，識別出真正人的定位，七牛雲在這一方面的學術領域水準非常高，在整個榜上是排名第一的。

早期做深度學習平臺的時候，我們覺得管理數據太累，寫代碼重復率太高，所以最初只是想做一種工具平臺。後面發現深度學習平臺能夠給很多學術的朋友帶來很多幫助，特別是學校的學生。這是整個深度學習平臺的發布流程，從模型的開發到調整，到調參，自動的訓練、驗證，到發布上線，整體是一個閉環。

這是AVA 深度學習平臺的架構。從底層可以支持的所有存儲，上面有一套分布式系統，有一些高級的應用，包括 AI 學習、增量學習，包括模型流程。

LEGO 大數據富媒體知識庫是後續更智能去投入的。我們要做視頻的結構化，把場景切開，特色的內容識別出來，建立一整套的搜索引擎，構建一套圖譜。這個知識圖譜是通過爬蟲體系不斷完善的制度，最後對外的其實是大數據的結構引擎，把裏面的樣本內容做結合，可以以圖搜視頻、以視頻搜視頻，還能得到你想要的數據樣本。我們現在得到的數據量非常大，有好幾十個 TB，整個樣本的量都是在 LEGO 裏面。

（優秀展示獎+優秀產品獎）

同時在第二十屆高交會展覽期間，經由專家評審和高交會組委會評選，七牛雲憑借先進的產品創新優勢在眾多參展企業中脫穎而出，「七牛雲海量存儲系統」榮獲高交會「優秀產品獎」。現場人氣爆棚的七牛雲展臺還獲得了本屆高交會「優秀展示獎」。

七牛雲彭垚：智能平臺的創新和發展