Facebook的AI可分析表情包 但它能理解其中的內涵嗎?

《連線》網站撰文指出，Facebook名為Rosetta的人工智慧技術平常可分析數十億張包含文字的影象，能夠分析表情包，但它能像人類那樣理解表情包的內涵嗎？ 以下是文章主要內容： 每天都有數十億的文字帖子、照片和視訊被上傳到社交媒體上，這是人類稽核員無法全面篩選的一個資訊量級。 因此，Facebook和YouTube等公司長期以來一直依賴人工智慧來幫助解決垃圾郵件和色情內容等問題。

不過，對於機器來說，稽核像白人至上主義的表情包這樣的東西可能更具挑戰性，因為這項任務需要同時處理幾種不同的視覺元素。自動化系統需要檢測和“讀取”疊加在照片上的文字，並分析影象本身。表情包也是一種複雜的文化產物，很難脫離語境去理解。儘管它們帶來了挑戰，但一些社交平臺已經在使用人工智慧來分析表情包，其中包括社交網路巨頭Facebook。Facebook本週分享了它如何使用一種名為Rosetta的工具來分析包含文字的照片和 ofollow,noindex">視訊 的細節。

Facebook表示，它已經在使用Rosetta來自動檢測違反其仇恨言論政策等規定的內容。該公司本週還宣佈，在該工具的幫助下，它正在擴大其第三方事實核查的努力，納入照片和視訊，而不僅僅是基於文字的文章。Rosetta將自動檢查包含文字的影象和視訊是否曾被標記為錯誤，從而幫助完成審查。

Rosetta通過將光學字元識別(OCR)技術與其他機器學習技術相結合來處理照片和視訊中的文字。首先，它使用OCR來識別文字在表情包或視訊中的位置。你可能以前用過類似OCR的東西；它可以讓你快速瀏覽紙質表單，並將其轉換為可編輯的文件。該自動化程式知道文字塊的位置，並能將它們與你應該簽名的地方區分開來。

一旦Rosetta知道文字在哪裡，Facebook就會使用一個神經網路來轉錄文字並理解其含義。然後，它可以將文字傳輸到其它的系統，比如一個檢查表情包是否與已經被揭穿的病毒騙局有關的系統。

Rosetta的研究人員表示，該工具現在可以實時從公開上傳到Facebook的每張圖片中提取文字，並且可以“閱讀”多種語言的文字，包括英語、西班牙語、德語和阿拉伯語。(Facebook表示，Rosetta不會用於掃描使用者在時間軸上私密分享的影象或私信。)

Rosetta可以分析包含多種文字形式的影象，比如抗議標識、餐廳選單、店面等的照片。在Facebook工作的軟體工程師維斯瓦納斯·西瓦庫馬爾(Viswanath Sivakumar)在一封電子郵件中說，這個工具既能識別景觀中的文字(比如街道標識)，也能識別表情包——但後者更具挑戰性。他寫道，“在主動檢測仇恨言論和其他違反政策內容的情況下，分析表情包式的影象是一項更加複雜的人工智慧挑戰。”

西瓦庫馬爾指出，與人類不同，人工智慧通常需要看到成千上萬個例子才能學會完成複雜的任務。但是，即便是對於Facebook而言，表情包方面的例子也不是無窮無盡的，而且在不同的語言上收集足夠多的例子也很困難。尋找高質量的訓練資料是人工智慧研究的一個持續性挑戰。資料通常需要花費大量的功夫來進行手工標記，而且許多 資料庫 都受到版權法的保護。

為了訓練Rosetta，Facebook的研究人員使用了在 網站 上公 開發 布的含有某種文字形式的圖片，以及它們的標註和釋出地點資訊。他們還建立了一個程式來生成額外的示例，這種做法的靈感來自於牛津大學的一個研究團隊在2016年設計的一種方法。這意味著整個過程在某種程度上是自動化的：一個程式自動地產生表情包，然後另一個程式試圖分析它們。

不同的語言還給Facebook的人工智慧團隊帶來了其它的挑戰。例如，研究人員必須找到一種變通方法來使得Rosetta能夠用於阿拉伯語等語言。阿拉伯語從右到左閱讀，與英語等其他語言相反。Rosetta倒著“閱讀”阿拉伯語，經過處理後，Facebook將那些字元顛倒過來。研究人員在他們的部落格中寫道：“這個技巧的效果出奇的好，讓我們有了一個統一的模型，它既適用於從左到右的語言，也適用於從右到左的語言。”

雖然自動化系統在內容稽核方面非常有用，但它們並不總是萬無一失的。例如， 騰訊 的微信絡使用兩個不同的演算法來過濾影象，多倫多大學公民實驗室的一個研究團隊成功地騙過了它們。第一個演算法是基於OCR的程式，會過濾含有特定話題文字的照片，而另一個演算法則會審查那些看起來與中國政府可能建立的黑名單相似的照片。

研究人員能夠通過改變影象的屬性，比如顏色或方向，輕易地避開微信的過濾器。雖然Facebook的Rosetta更加先進，但可能也不是完美無缺；該系統可能會受困於難以閱讀的文字或扭曲的字型。所有的影象識別演算法也仍然可能會受到對抗性的例子的影響，那些經過輕微改動的影象在人類看來是一樣的，但會導致人工智慧陷入混亂。

在對特定種類的內容的稽核方面，Facebook和Twitter、YouTube和Reddit等其他的平臺在多個國家都面臨著巨大的壓力。週三，歐盟提出了一項新的法規，要求社交媒體公司在接到通知後一小時內刪除恐怖分子的帖子，否則將面臨罰款。Rosetta和其他類似的自動化工具已經在幫助Facebook和其他平臺在德國等地遵守類似的法律。

它們在那方面也做得更好了：兩年前，Facebook執行長馬克·扎克伯格(Mark Zuckerberg)曾說，Facebook的人工智慧系統只能主動捕捉到該公司所刪除內容的一半左右；人們必須先要標記其餘要刪除的內容。現在，Facebook表示，它的人工智慧工具可以檢測到幾乎100%的垃圾郵件、99.5%的恐怖內容和86%的暴力圖片。YouTube等其他平臺在利用自動內容檢測系統上也取得了同等程度的成功。

然而，這些喜人的數字並不意味著像Rosetta這樣的人工智慧系統是完美的解決方案，尤其是當涉及到更微妙的表達形式的時候。與餐館選單不同的是，如果不知道表情包的釋出背景，就很難理解它的含義。這就是為什麼有很多網站在致力於解釋它們。表情包通常描述的是圈內笑話，或者是針對特定的網路亞文化。人工智慧仍然不能像人類那樣理解表情包或視訊。就目前而言，Facebook仍需要依靠人工稽核員來決定是否應該刪除某個表情包。