NIPS 2018對抗視覺挑戰賽結果公佈：CMU邢波團隊包攬兩項冠軍
今天，NIPS 2018 對抗視覺挑戰賽（NIPS Adversarial Vision Challenge 2018）結果公佈，超過 400 個參賽團隊提交了 3000 多個模型和攻擊方法。今年的比賽聚焦於真實世界的場景，攻擊對模型的訪問量很小（每個樣本至多 1000 個）。模型僅返回它們給出的最終結果而不是梯度或置信度分數。這種做法模擬了部署機器學習系統面臨的典型威脅場景，有望推進基於決策的高效攻擊方法的發展，也有利於構建更加魯棒的模型。
CrowdAI 平臺上已完成的 model track。
所有獲獎者的表現至少比標準基線（如從普通模型或普通邊界攻擊（Boundary attack）遷移）好一個數量級（根據 L2 擾動的中值大小計算)。我們向每個比賽（防禦、無針對性攻擊、針對性攻擊）的前三名要了他們方法的大綱。獲獎者將在 12 月 7 日 9:15–10:30 舉辦的 NIPS Competition 研討會上展示其方法。
攻擊賽道獲獎者的共同主題是邊界攻擊的低頻版本以及不同防禦方法組合起來作為替代模型。在 model track 中，獲獎者使用了一種新的魯棒模型方法（細節恐怕要等到研討會才能知曉）以及一種用於對抗訓練的基於梯度的新迭代L2 攻擊。在之後的幾周，我們將再次發帖，公佈更多結果細節，包括針對防禦模型生成的對抗樣本的視覺化。獲獎團隊將在幾周後公佈。
防禦
-
第一名：Petuum-CMU 團隊 (91YXLT 參與競賽)
-
作者：Yaodong Yu*, Hongyang Zhang*, Susu Xu, Hongbao Zhang, Pengtao Xie 和 Eric P. Xing (*表示同等貢獻)，分別來自PetuumInc 公司、卡內基梅隆大學、弗吉尼亞大學。
-
為了學習對對抗樣本魯棒的深度網路，作者分析了對對抗樣本魯棒的模型的泛化效能。基於其分析，作者提出了新的公式來學習具有泛化和魯棒性保證的魯棒模型。
-
第二名：Wilson 團隊（目前尚未收到該團隊的回覆）
-
第三名：LIVIA 團隊（Jerome R 榜上有名）
-
作者：Jérôme Rony & Luiz Gustavo Hafemann，來自加拿大蒙特利爾魁北克高等技術學院（ETS Montreal，Canada)
-
作者用提出的基於梯度的新迭代L2 攻擊（解耦方向和範數——Decoupled Direction and Norm，DDN）訓練了一個魯棒的模型，這種攻擊速度夠快，可以在訓練中使用。在每個訓練步驟中，作者找到一個接近決策邊界的對抗樣本（使用 DDN），並最小化這個例子的交叉熵。模型架構沒有變化，也沒有對推理時間產生任何影響。
無針對性攻擊
-
第一名：LIVIA 團隊（Jerome R 榜上有名）
-
作者：Jérôme Rony & Luiz Gustavo Hafemann，來自加拿大蒙特利爾魁北克高等技術學院
-
該攻擊方法基於眾多代理模型（包括用作者提出的新攻擊方法——DDN 訓練的魯棒模型）。對於每個模型，作者選擇兩個方向來攻擊：原始類別的交叉熵損失梯度，以及通過執行 DDN 攻擊給出的方向。對於每個方向，作者對範數進行二進位制搜尋，以找到決策邊界。作者採取最好的攻擊，並通過《Decision-Based Adversarial Attacks: Reliable Attacks Against Black-BoxMachine LearningModels》中的邊界攻擊（boundary attack）方法來改進它。
-
第二名：TSAIL 團隊 (csy530216 榜上有名)
-
作者：Shuyu Cheng & Yinpeng Dong
-
作者使用一種啟發式搜尋演算法來改進對抗樣本，這與邊界攻擊方法類似。BIM 攻擊使用了《Adversarial Logit Pairing》中的基線來遷移，從而找到了起點。在每次迭代中，隨機擾動是從具有對角協方差矩陣的高斯分佈中取樣的，該矩陣由過去的成功試驗進行更新以模擬搜尋方向。作者將擾動限制在 64*64*3 影象的中心 40*40*3 區域內。其首先生成一個 10*10*3 的噪聲，然後使用雙線性插值將其調整到 40*40*3。限制搜尋空間讓演算法變得更高效。
-
第三名：Petuum-CMU 團隊 (91YXLT 榜上有名)
-
作者：Yaodong Yu*, Hongyang Zhang*, Susu Xu, Hongbao Zhang, Pengtao Xie 和 Eric P. Xing (*表示同等貢獻)，分別來自PetuumInc 公司、卡內基梅隆大學、弗吉尼亞大學。
-
作者在來自 Foolbox 的幾個距離測量度量下集成了不同的魯棒模型和不同的對抗攻擊方法，以生成對抗擾動。此外，他們選擇了在不同距離度量下攻擊魯棒模型時最小化最大距離的最佳攻擊方法。
有針對性攻擊
-
第一名：Petuum-CMU 團隊（91YXLT 榜上有名）
-
作者：Yaodong Yu*, Hongyang Zhang*, Susu Xu, Hongbao Zhang, Pengtao Xie 和 Eric P. Xing (*表示同等貢獻)，分別來自PetuumInc 公司、卡內基梅隆大學、弗吉尼亞大學。
-
作者根據 Foolbox 集成了不同的魯棒模型和不同的對抗樣本方法來生成對抗擾動。他們發現整合方法使得目標攻擊模型對於各種魯棒模型變得更加有效。
-
第二名：fortiss 團隊（ttbrunner 榜上有名）
-
作者：Thomas Brunner & Frederik Diehl, 來自德國 Fortiss GmbH 研究所
-
該攻擊方法與邊界攻擊類似，但不是從隨機正態分佈中取樣。此外，作者採用遷移良好且不易被防禦者過濾的低頻模式。作者還使用替代模型的投影梯度作為取樣的先驗。通過這種方式，他們將兩者（PGD 和邊界攻擊）的優點結合成一種靈活又取樣高效的攻擊方法。
-
第三名：LIVIA 團隊（JeromeR 榜上有名）
-
作者：Jérôme Rony & Luiz Gustavo Hafemann，來自加拿大蒙特利爾魁北克高等技術學院
-
該攻擊方法基於眾多代理模型（包括用 DNN 訓練的魯棒模型）。對於每個模型，作者選擇兩個方向來攻擊：目標類別的交叉熵損失梯度，以及通過執行 DDN 攻擊給出的方向。對於每個方向，作者對範數進行二進位制搜尋，以找到決策邊界。作者採取最好的攻擊，並通過邊界攻擊方法來改進它。
原文連結：https://medium.com/bethgelab/results-of-the-nips-adversarial-vision-challenge-2018-e1e21b690149