1. 程式人生 > >知物由學 | 內容安全小技巧:如何辨認人工智能生成的虛假頭像

知物由學 | 內容安全小技巧:如何辨認人工智能生成的虛假頭像

地方 相關 人類 區域 簡單的 技術幹貨 也會 錯位 生成器

“知物由學”是網易雲易盾打造的一個品牌欄目,詞語出自漢·王充《論衡·實知》。人,能力有高下之分,學習才知道事物的道理,而後才有智慧,不去求問就不會知道。“知物由學”希望通過一篇篇技術幹貨、趨勢解讀、人物思考和沈澱給你帶來收獲的同時,也希望打開你的眼界,成就不一樣的你。

導讀:通過人工智能制造的人臉樣本,不通過技術手段幾乎很難辨認出到底是真人還是假人,本文就告訴大家如何通過一些技巧辨別真假人臉。

本文作者:Kyle McDonald 譯者:陸小鳳

2014年,機器學習研究員Ian Goodfellow提出了生成對抗網絡(GANs)的概念。“生成性”是因為它們輸出的是如圖像的這樣的東西,而不是關於輸入的預測(如“是否是熱狗”);“對抗網絡”,因為他們就像一個收銀員和一個造假者一樣在一個“貓捉老鼠的遊戲”中使用兩個神經網絡相互競爭:一個試圖欺騙另一個,讓它認為自己可以產生真實的樣本,另一個則試圖區分真假。

最初的GAN圖像很容易被人類辨認。想想2014年的這些面孔。

但是,2017年10月發布的最新的由GNA生成的人臉樣本更難辨認。
技術分享圖片

但是,2017年10月發布的最新的由GNA生成的人臉樣本更難辨認。
技術分享圖片

在嘗試識別一個GAN生成的圖像時,需要辨認一些內容。一般會將重點放在人臉的辨認上,因為那是研究人員的共同測試的地方,而且許多面部中最明顯的假象也會出現在其他類型的圖像中。

以下總結了一些技巧,供大家參考:

直發看起來像刷上去的油漆
技術分享圖片

這種直的發型在是長發的常見發型,在這種發型中,其中一小塊頭發看起來還不錯,但在長發的部分看起來就像是有人用調色板上的刀或大刷子弄上了一束丙烯酸樹脂漆。

難辯認的文本

技術分享圖片

對面部進行訓練的GAN很難捕捉到背景中稀少的結構復雜的事物。此外,GAN同時出現訓練數據的原始版本和鏡像版本,這就意味著它們在建模的編寫方面會有困難,因為通常情況下只需要一個定向。

背景是不真實的
技術分享圖片

臉部的GAN圖像可靠的一個原因是所有的訓練數據都集中在中心。這就是說,當涉及到例如眼睛和耳朵的位置和呈現時,GAN建模的變化點較少。然而,背景可以包含任何內容。這對於GAN來說太過復雜而無法建模,所以它最終會復制一般的類似於背景的紋理,而不是“真實”的背景場景。

不對稱

技術分享圖片

GAN很難處理圖像中的遠距離的相關性。雖然像耳環這樣的配對配飾通常在數據集中匹配,但在生成的圖像中並不匹配。或者眼睛往往應該指向同一個方向,同一種顏色,但生成的圖像往往是對視的,異色的。不對稱也會很常見的表現在比如耳朵高度或大小的不匹配。

奇怪的牙齒

技術分享圖片

GAN可以組裝一個通用場景,但目前在半規則重復細節(如牙齒)方面存在困難。有時GNA會導致牙齒錯位,或以奇怪的方式拉伸或收縮每顆牙齒。在以往,這個問題也出現在其他領域,比如磚塊圖像的紋理合成。

雜亂的頭發
技術分享圖片

這是識別生成的GNA圖像的最快方法之一。通常GAN圖像會在肩膀周圍隨意地形成一束頭發,並把濃密的頭發散落在額頭上。一般發型有很多變化,且有很多細節,這成為GAN最難捕捉的東西之一。其中不是頭發的東西有時也會變成類似頭發的紋理。

沒有常規的性別表現
技術分享圖片

GAN在一個包含了20萬張明星臉的圖片的子集CelebA裏進行訓練。在這個數據集中並沒有一個人有胡子、耳環且畫了妝的樣本,但GAN卻總是會將性別中的典型的區別特征混為一談。

更簡單的說,這是因為GAN不能總是學習人類社會上強化的相同類別或二進制,例如“男性vs女性”的樣本。這裏有一點需要明確:它與不對稱不同,沒有常規的性別表現並不意味著圖像不“真實”。與雜亂的頭發不同,它在單個圖像中呈現的假象更少,在大量圖像集合中匹配統計數據的視差更大。


半正規的噪聲

技術分享圖片

一些單色區域可能會出現水平或垂直條帶的半規則噪聲。在上述情況下,這可能是網絡試圖模仿布料的紋理。以前的GAN具有更顯著的噪聲模式,通常被描述為棋盤格假象。

彩虹色的出現

技術分享圖片

一些顏色較淺的區域像圖上了多彩的石膏,包括衣領、脖子和眼白(圖片中沒顯示出來)。

真實的圖像樣本

技術分享圖片

看看這些樣本有清晰的背景文字,配對的耳環,相同大小的牙齒,還有精細的發型。記住所有這些細節,然後試著測試你區分真假的能力,看看你會正確多少。值得一說的是,有些人在“開始”就有困難了。

在上述圖像一年的“逐步預處理”後,相同的研究人員發表了“模式化的GAN生成器體系結構”。

這有一些加強版認識:
技術分享圖片

在低分辨率下,論文中幾乎所有的圖像與照片都難以區分真假,但還是會有少數的假象是可以發現的。

丟失的耳環

技術分享圖片

這個錯誤出現在幾個圖像在完全相同的位置。這可能是與神經網絡試圖生成耳環而失敗有關,一個是因為它們都來自相同的“源”圖像,還有就是在一種情況下,當與“中性”的女性面孔混淆時,耳環就會出現在這個位置。這也可能是無關的,因為另一個樣本顯示一個類似的錯誤出現在了多個圖像之間的不同位置。

不對稱

技術分享圖片

中間的圖像是來自數據集的“平均臉”,基於來自世界各地Flickr用戶的70k張照片。左邊的圖像中右耳有一個耳環,但左耳沒有。這並不是要去判斷單耳佩戴耳環是“對”還是“錯”,而是判斷這種不對稱在數據集中是否是常見的。右邊的圖像中不匹配的耳朵大小是另一個不對稱的樣本。另一個過度不對稱的樣本可能是這張臉有斜視,即一個眼睛似乎看向不同的方向。

技術分享圖片

奇怪的牙齒

技術分享圖片

這些假象還有很多,在這個樣本中,一顆牙齒在中間有一個空隙。在其他圖像中,他們顯示所有的牙齒滑向一邊。

雜亂的頭發
技術分享圖片

仍然存在,但通常會更好地融入其中。

繪畫般的繪制

技術分享圖片

這一幅圖像具有不尋常的水彩美感。目前還不清楚為什麽會出現這種情況。在之前的工作中,會使用超分辨率網絡對訓練圖像進行預處理。如果這裏用的是同一個系統。在另一幅“粗制濫造”的圖像中,這個區域看起來像是一件色彩鮮艷的襯衫的變體。

知物由學 | 內容安全小技巧:如何辨認人工智能生成的虛假頭像