AI 從業者要防止人工智慧被對抗性樣本傷害
使用人工智慧的應用程式可能被對抗性樣本所欺騙，從而在模型決策中造成混亂。在 2018 年 Goto Berlin 大會上，Katharine Jarmul 指出，輸入檢查（ Input sanitization）可以在輸入到模型之前過濾掉不合理的輸入。她說，我們需要開始把模型和我們提供給它的訓練資料視為潛在的安全漏洞。
資料科學家 Katharine Jarmul 是 O 'Reilly 的作者，也是 KIProtect 的聯合創始人。在 Goto Berlin 2018 大會上，她探討了如何防止人工智慧被自己欺騙。InfoQ 用問答、概述和文章的形式對此次會議進行了報道。InfoQ 採訪了 Jarmul，討論瞭如何欺騙人工智慧應用程式、建立健壯且安全的神經網路以及如何降低資料隱私和道德資料風險。
InfoQ：人工智慧似乎已經成為軟體開發的熱門領域。為什麼？
Katharina Jarmul：我認為，在步履蹣跚地度過人工智慧的寒冬之後，受益於“大資料”實踐的增長，人工智慧正在經歷某種意義上的復興。這取決於提問的物件以及你如何定義人工智慧。我想說，對我來說，最有趣的“人工智慧”是將機器學習應用於現實世界的用例和企業界，本質上是使用資料 + 演算法來幫助預測或自動化。自 21 世紀初以來，這一領域正經歷著巨大的增長，尤其是隨著資料集的不斷擴大——如今，通過各種 MLaaS 公司（機器學習即服務），人們可以以某種自動化的方式獲取這些資料和演算法。
InfoQ：如何欺騙使用人工智慧的應用程式？
Jarmul：我在 34c3 大會上關於深度學習盲點的演講中對此有過非常詳細地探討，但本質上——如果你有一個基於深度學習的模型，它很容易受到所謂的對抗性樣本的影響。這些樣本“欺騙”了網路，讓它“看到”一些不存在的東西。" 欺騙 " 和 " 看到 " 用了引號，因為模型沒有眼睛和大腦，所以，在我們對這些詞的理解中，它不會被欺騙，它也看不到。相反，我們實際上是在增加模型決策中的混亂——也就是說，我們使模型更難做出正確的決策。其實現方式是專門在輸入中增加特定的噪聲和擾動來干擾模型。我經常引用的一個例子是一個 3D 列印的海龜的視訊，無論從哪個角度，它都會被標記為步槍（視訊在這裡：合成強大的對抗性樣本：對抗性海龜 ）。
InfoQ：怎樣才能建立一個健壯且安全的神經網路？
Jarmul：關於如何保護基於神經網路的模型不受對抗性樣本的影響，以及這些方法在多大程度上是成功的，有很多積極的研究。在我看來，其中一個最有用也最可行的方法是輸入檢查。我們可以認為模型可以接受任何輸入，不管輸入是多麼不切實際或不可能。對抗性樣本經常使用的方法是建立幾乎不可能的輸入（在較暗的斑塊中間的亮橙色畫素），並使用這些輸入來增加不確定性或改變模型的決策。當我們考慮許多不同型別的模型的對抗性樣本時，諸如輸入檢查（如在輸入進入模型之前對其進行特徵壓縮或其他降維）之類的方法可能是最實用且最具可伸縮性的方法。
也就是說，我在 GOTO 大會上所講的，不僅僅是處理對抗性影象或樣本，而是更進一步或兩步，因為我認為，我們在機器學習中最關心的不是對抗性樣本，而是隱私和資料安全問題。從機器學習模型中提取資訊相對容易，我們正在將更多的機器學習模型部署到生產系統中，在這些生產系統中，它們可以接觸到外部網路，並向潛在的對手開放。當我們使用個人或敏感資料對模型進行訓練，然後將其 API 開放給其他人時——我把這比作將資料庫開放給網際網路。我們需要開始把模型和我們提供給它的訓練資料視為潛在的安全漏洞。關於這些提取方法的研究一直很活躍，包括能夠從訓練好的模型中提取生物特徵資料（Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures ）和 Reza Shokri 教授的獲獎論文Membership Inference Attacks ，這些成果展示瞭如何準確地確定資料點是否是訓練資料集的一部分。保護輸入機器學習模型的資料是我的公司 KIProtect 正在做的事情之一，也就是說，我們能夠讓資料科學和機器學習的安全性和隱私性變得更容易。
InfoQ：機器學習如何將資料隱私和道德資料的使用置於風險之中，以及如何減輕這種風險？
Jarmul：當我們將私有或敏感資料放入機器學習模型時，我們要求模型學習其中的一些資料，並將其用於以後的決策。本質上，那些資料的元素將儲存在模型中——這意味著可以像從嵌入式文件中提取這些元素一樣提取它們。然後，對手可以利用這種資訊公開來了解訓練資料或模型決策過程——將私有資料或敏感邏輯公開給任何能夠訪問模型或模型 API 的人。因此，作為個人，這意味著，如果我的個人資訊或資料被用於建立一個模型，特別是保留較大資訊片段的模型（如某些神經網路），那麼在模型建立之後，就可以使用它來提取關於我的資訊。
因為越來越多的公司在使用機器學習和 MLaaS，我認為，作為消費者，我們應該關注我們的個人資料或和我們有關的資料以及我們在公開模型中的行為可能帶來的隱私和安全風險。作為機器學習的實踐者，我們需要越來越關注與模型有關的基本安全措施，以及確定有多少敏感資訊暴露在我們的模型中。如果我們將這些因素考慮到我們的評估標準中，我們就有希望在模型成功和隱私問題之間找到一個很好的平衡。在 KIProtect，我們使用 ML 模型對我們的假名化（pseudonymization）過程進行了評估，結果顯示，基於受保護資料的機器學習模型的準確率只有很小的下降（1-2%）；因此，我們認為，這不僅是可能的，而且對於更安全和更具隱私意識的資料科學也是必不可少的。
檢視英文原文：
https://www.infoq.com/news/2019/01/protecting-ai-from-itself