Procedural Noise Adversarial Examples for Black-Box Attacks on Deep Neural Networks論文筆記(2)

摘要： 3. 程式化噪聲方法 該文章提出一種利用程式化噪聲來生成對抗樣本的方法, 所提出的方法和那些通過梯度不斷修改以至於到達分類器的邊界的方法不一樣, 上述方法需要對目標的模型有一定的瞭解. 使用一類現實和自然紋理來生成對抗樣本, 利用擾動對機器學習演算法最終的結果產生不同. 程式化噪聲廣泛...

3. 程式化噪聲方法

該文章提出一種利用程式化噪聲來生成對抗樣本的方法, 所提出的方法和那些通過梯度不斷修改以至於到達分類器的邊界的方法不一樣, 上述方法需要對目標的模型有一定的瞭解.

使用一類現實和自然紋理來生成對抗樣本, 利用擾動對機器學習演算法最終的結果產生不同. 程式化噪聲廣泛應用於計算機圖形學, 並且在電影和視訊遊戲中有大量的應用, 用來生成模擬的紋理來細化自然的細節, 進而增強影象, 特別地, 比如玻璃, 樹木, 大理石和動畫(比如雲, 火焰和波紋)的紋理. 由於這些特徵, 假設程式化的噪聲可以容易地騙過圖片的分類演算法, 並且給出的擾動和圖片的背景和前景都有著相似的地方.

這樣的噪聲方法被設計為可以擴充套件到大圖片資料集上, 能夠很快進行分析並且實現低的記憶體使用. 這樣的方法是引數化的, 使用相同的函式可以生成不同的噪聲模式, 這樣的性質使得可以被用做實際的黑盒攻擊.

如果想要對程式化噪聲有更深刻的瞭解, 可以細看

A. Lagae, S. Lefebvre, R. Cook, T. DeRose, G. Drettakis, D. S. Ebert, J. P. Lewis, K. Perlin, and M. Zwicker, “A Survey of Procedural Noise Functions,” in Computer Graphics Forum, vol. 29, no. 8, 2010, pp. 2579– 2600.

A. 躲避分類器

作為一種生成對抗樣本的方法, 需要解釋程式性噪聲是如何欺騙現存的圖片分類器的.

可以寬鬆地定義"自然紋理"來作為圖片的擾動, 該擾動為真實圖片的複製或者和自然模式有一些隱藏的結構相似性. 直覺是通過自然紋理對圖片進行覆蓋, 圖片分類器會對這些加上去的形狀和模式進行解釋並作為特徵, 這些特徵將會影響最後的結果.

在合適的小的擾動之下, 生成的紋理將不會破壞原有的圖片, 並且欺騙分類器.

傳統的隨機噪聲, 比如高斯噪聲或者椒鹽噪聲, 都是畫素級別的, 對於畫素級別的噪聲對於神經網路是沒有作用的, 原因是有卷積層和dropout來進行過濾, 另一方面, 複製自然圖片的基於特徵的噪聲幾何屬性和其他影象是相似的. 由於現有的影象分類器被訓練用於區分自然圖片, 基於特徵的噪聲更有可能去影響最後的預測效果.

許多基於梯度的方法都是尋找一些分類器決策邊界的幾何相關性, 假定通過紋理或者模式在圖片中也可以使用這種幾何相關性, 並實現有效的攻擊.

文章觀察到在UAP中的攻擊具有一些模式或者結構, 如下圖所示

這些模式或者結構對於人類是無法識別的. UAP吸引人的地方在於, 大量的圖片只使用同一個對抗擾動即可. 對於程式化的噪聲, 如同下圖的第三行

即生成一些和UAP相似的噪聲模式, 可以期望令程式化噪聲的模式和UAP有相似的屬性, 實現給定圖片集合中的一大部分的錯分類.

使用 Perlin噪聲 作為程式化噪聲是由於其易於使用, 流行並且簡單, 雖然Perlin噪聲不是最有效或者無偽影的噪聲函式, 其簡單的實現對於低成本的黑盒攻擊而言十分有效.

Perlin噪聲是一種 梯度噪聲 , 梯度噪聲是利用一個偽隨機梯度的方格來生成的噪聲, 對這些點積然後插值得到噪聲.

Perlin噪聲的實現可以歸結為三個步驟:

1. 偽隨機梯度向量的方格定義
2. 對距離-梯度向量進行點乘操作
3. 在這些值之間進行插值

對於一個給定的點, perlin噪聲的值通過在方格上的最鄰近的 個點的偽隨機的梯度上進行樣條插值, 其中 是影象的維度. 樣條插值使用其平滑變化可以構造自然外觀的影象, 因此區別於線性插值.

在該文章中, 規定了其中的引數, 頻率 , 倍頻的數目 , 缺項 , 頻率對應著臨近畫素值的改變的速率, 它影響了圖片的視覺平滑性. 倍頻的數目則是與外加噪聲的多少有關, 缺項則是倍頻之間的頻率乘子, 如果該項越大則細節越多.

因此Perlin噪聲就變為 , 為了便於記憶, 我們寫成

我們用噪聲值 定義它, 函式 . 正弦函式的週期性在影象中產生不同的帶, 以實現類似於圖2中的對抗性擾動的外觀.

雖然這減少了我們可以探索的各種模式, 但是增加額外的複雜性需要更多的查詢才能使黑盒攻擊成功. 圖5示出了使用灰度正弦彩色圖足以用極少量的查詢來製作成功的攻擊. 同樣的推理適用於我們選擇的Perlin噪聲函式.

我們的噪聲函式的這種可引數化特性極大地減少了對抗擾動的搜尋空間. 我們不是在ImageNet上搜索整個影象空間(最大可達268,203畫素), 而是針對較小的搜尋空間優化演算法, 在我們的例子中是4個特徵. 功能數量的大幅減少極大地提高了攻擊的可擴充套件性和速度.

在限制性設定中, 可以應用像貝葉斯優化這樣的黑盒優化技術來進一步減少對目標模型的查詢數量. 在攻擊者旨在避免檢測的對抗設定中, 這是非常理想的.

4. 攻擊實現

在本節中, 我們定義了威脅模型並描述了Perlin噪聲攻擊. 威脅模型允許我們將黑盒攻擊置於上下文中, 並正式定義目標, 功能和約束. 儘管攻擊的形式與所考慮的資料型別或分類問題無關, 但產生的擾動旨在欺騙計算機視覺任務中的機器學習系統.

我們提出的攻擊是一種基於查詢的黑盒演算法, 它利用了程式噪聲的屬性. 在選擇了具有引數 的程式噪聲函式 之後, 我們首先建立影象擾動以新增到原始“乾淨”影象. 然後將使用此更改的影象查詢目標模型. 如果攻擊不成功, 我們將使用貝葉斯優化更新我們後續的查詢 , 旨在優化攻擊者的目標函式.

A. 威脅模型

為了使對抗能力和目標形式化, 我們還有一些額外的符號. 給定 類和分類器 的多分類問題, 讓 為輸入 的輸出概率分數. 因此, 是 維概率向量, 其中 , 中的第 個元素, 表示 屬於類 的概率.

當存在大量類時(例如, ImageNet資料集具有1,000個類標籤), 分類器的效能通常以“前 個”精度來衡量, 即, 當正確的標籤在 個最高概率分數中時. 設 為給定輸入 的第 個最高概率分數. 在 的情況下, 我們有 , 它是分類器對 的預測標籤. 設 表示物件 的真實標籤. 當 時, 出現前n個逃避, 其中“逃避”指的是目標分類器無法預測n個最高概率分數內的真實標籤的情況.

設 是對抗者選擇的生成噪聲函式, 是其引數. 我們將 定義為所得的對抗擾動, 即應用於每個畫素座標以生成整個影象的函式 . 我們將對側示例 表示為輸入 和生成的對抗擾動 之和, 即 .

對手知識

目標模型是一個已經完成學習的黑盒分類器. 我們假設攻擊者沒有目標分類器的內幕知識, 例如其學習演算法, 訓練資料和模型設定. 雖然對手知道分類器的輸入, 輸出和類標籤的資料型別.

對手能力

攻擊者可以使用任何輸入x查詢目標分類器F, 並且知道這些輸入的真實類標籤τ(x). 在某些情況下, 影象分類器提供概率向量作為輸出, 以顯示分類器的置信度和替代預測. 因此, 對手可以觀察輸出類概率F(x)是合理的. 我們還考慮了這種概率輸出向量不可用的情況.

攻擊者在最大限度地減少用於製造攻擊的擾動的約束是根據原始輸入x和頭部對側輸入 之間的一些距離度量 來定義的. 這相當於限制擾動 的範數, 其中 . 這種擾動幅度的上限允許我們為攻擊者建模可檢測性約束. 我們還通過限制攻擊者的查詢數量來強加進一步的可檢測性限制. 這是因為在實際情況下, 大量類似的請求會引起懷疑並且可以檢測到攻擊者. 儘管在一些有關黑盒攻擊的相關工作[23], [25], [44]中已經提到了對查詢數量的限制, 但在大多數情況下並未考慮這種限制.

B. 目標函式

我們現在可以定義用於生成對抗性示例的約束優化問題. 給定具有k類的學習分類F, 對手具有他們想要改變的輸入x, 使得新輸入x0 = x +δ被F的前n個誤分類, 對距離||δ||<ε和數量的約束, 查詢q <qmax.

與相關工作一致, 我們假設我們的擾動預算ε足夠小, 因此它不會以顯著的方式在視覺上修改影象, 並且對於任何生成的x0, 原始標籤都保留 . 該演算法的目標是在引數θ上優化我們選擇的生成函式G, 因此我們在目標函式中用δ(θ)代替δ. 當 時發生前n個逃避, 因此優化問題的形式如下：

對於所考慮的影象分類資料集, 我們將畫素值標準化為[0,1]. G(θ)和x + G(θ)的分量分別被剪下為[-ε, ε]和[0,1]以滿足這些約束. 對於前n個逃避, 我們的目標函式小於0是足夠的. 因此, 我們的演算法的停止條件是

C. 貝葉斯優化

貝葉斯優化是一種基於序列模型的優化演算法, 主要用於在黑盒設定中有效地找到最優引數θ[27], [28]. 事實證明, 該技術可以有效地解決各種問題, 如超引數調整, 強化學習, 機器人和組合優化[50].

貝葉斯優化由兩部分組成, 首先是概率代理模型, 通常是高斯過程（GP）, 第二是指導其查詢的獲取函式. 該演算法使用此獲取功能來選擇輸入以查詢目標分類器並觀察輸出. 然後更新統計模型的先驗信念以產生函式的後驗分佈, 其在給定觀察資料的情況下更具代表性. 一旦最佳目標函式值停止改進或演算法達到最大迭代次數（查詢）[50], 演算法就會停止. 該演算法具有查詢效率, 因為它在其更新的後驗中使用過去查詢提供的所有信息, 同時還考慮了關於目標函式的模型的不確定性.

高斯過程

貝葉斯優化的第一個組成部分是我們目標函式的概率替代模型. GP是對函式分佈的高斯分佈的推廣, 通常用作貝葉斯優化的替代模型[51]. 我們使用GPs, 因為它們引起了對分析易處理的目標函式的後驗分佈. 這使我們能夠在每次迭代後更新我們對目標函式的看法[28].

GP是一個非引數模型, 完全由先驗均值和正定的核函式來描述[50]. 正式地, GP是隨機變數的集合, 其中任何有限數量形成高斯分佈. 非正式地, 它可以被認為是具有無限長向量的隱藏（未知）函式, 並且GP描述其分佈, 類似於如何通過n維高斯分佈來描述一組n維向量.

GP對豐富的函式分佈進行建模的能力取決於其核函式, 該函式控制函式分佈的重要屬性, 如平滑度, 可微分性, 週期性和幅度[50], [51]. 目標函式的任何先驗知識都在核心的超引數中編碼. 但是, 由於對手幾乎不瞭解目標模型, 因此對手必須採用更通用的核函式[28].

核心函式的常見選擇包括自動相關性確定（ARD）平方指數和Mat'ern核心. 對於我們的實驗, 我們遵循Snoek等人的觀點. [28]在選擇Mat'ern 5/2核心時, 他們聲稱像ARD這樣的其他常見選擇對於實際優化問題是不切實際的平滑[28]. Mat'ern 5/2核心產生兩次可微分函式, 這一假設與流行的黑盒優化演算法（如準牛頓方法, 不需要ARD的平滑性）相對應.

獲取函式

貝葉斯優化中的第二個元件是一個獲取函式, 它描述了查詢的最佳性. 直觀地, 採集函式評估候選點在下一次評估中的效用, 並且通常將其定義為使得高採集對應於目標函式的潛在最優值[52].

獲取函式必須平衡探索和利用之間的權衡. 探索尋求高方差區域, 即目標函式值不確定性較高的區域. 剝削尋找目標函式的不確定性和估計平均值較低的地方[50], 即模型與目標函式的估計值相關. 太少的探索可能會使其陷入區域性極值, 而太多的探索並未充分利用所做的觀察.

考慮到黑盒設定, 我們選擇通用的採集功能. 兩種最受歡迎的選擇是優化預期改進（EI）或高斯過程上限（UCB）. EI和UCB都被證明在真正的黑盒優化問題中是有效的和資料有效的[28]. 然而, 大多數工作已經發現EI收斂接近最優, 不需要調整自己的引數, 並且在一般情況下比UCB表現更好[28], [50], [52]. 這使得EI成為我們收購功能的最佳候選人.

D. 引數選擇

在本節的其餘部分, 我們將討論如何選擇引數（θ）, 邊界（ε, qmax）和度量（||·||）. 我們還概述了引數優化策略, 同時考慮了我們的威脅模型.

引數邊界

如前面部分所述, G的引數是θ= {ν, ω, κ, νsine}, 即：Perlin噪聲函式的頻率, 倍頻的數量, 缺項和正弦顏色對映函式的頻率. 優化這些引數需要我們首先確定它們的邊界, 超出這些邊界的變化不會影響所得影象的外觀.

網格搜尋標識當引數值被擾動時所生成的噪聲繼續具有顯著變化的範圍. 這些範圍將是引數的搜尋邊界. “明顯的變化”是通過視覺檢查和“2下降範圍”來衡量的. 我們鬆散確定的邊界是ν∈[20,80], ω∈{1,2,3,4}, κ∈[1.7,2.2]和νsine∈[2,32].

引數優化

• 隨機. 我們隨機選擇噪聲函式的引數. 這用作基線效能並且對應於非自適應攻擊, 其中對手不接收反饋或者不能訪問目標模型的輸出概率. 更多查詢導致發現一組實現逃避的引數的可能性更高. 在這種情況下, 攻擊者不需要訪問F（x）中每個標籤的概率, 而只需要訪問前n個類的標籤.
• 貝葉斯優化. 我們使用具有Mat'ern 5/2核心的高斯過程來選擇引數, 以對可能的目標函式放置先驗資訊, 然後通過在每次查詢之後更新後驗來依次重新確定引數的選擇. 我們使用預期改進（EI）獲取功能來指導下一個查詢. 後驗代表了觀察到的資料點的更新信念[50].

由於對查詢數量的限制, 諸如網格搜尋和基於梯度的優化之類的詳盡且查詢密集的超引數搜尋方法是不可行的. 我們只選擇貝葉斯優化作為查詢效率引數選擇策略.

最大查詢數

通過我們的生成函式可以實現對逃避的實現, 因此我們設定最大預算qmax以將查詢數量保持在合理的範圍內. 對於貝葉斯優化, 高斯過程迴歸中的精確推斷是O（q3）, 其中q是觀察或查詢的數量. 該成本是由於在更新後驗時協方差矩陣的反演. 由於這個限制, 並且基於我們的初步實驗, 我們設定qmax = 100.這個上限被證明是足夠的, 因為實驗表明攻擊者在q接近這個qmax之前的效能平穩. 我們可以通過稀疏GP來降低計算複雜度[53], [54], 這提供了估計精度和可擴充套件性之間的權衡. 然而, 鑑於攻擊的有效性, 標準GP對我們來說是一個非常合適的選擇.

距離度量

距離度量是用於量化影象之間的相似性的有用啟發法. 通常的度量標準是“p”範數, 因為如果影象的差異r滿足||r|| <ε, 那麼影象在視覺上是相似的, 以獲得足夠小的ε. 對於∞範數, 任何座標之間的最大可能差異是由ε限制的, 因此我們對所有點都有||ri|| <εi. 由於其畫素方式構造, 我們的噪聲函式最好用∞範數測量. 對於ImageNet資料集, 我們遵循先前研究[20]和[21]中的∞≤16/256的∞範數上界

5. 實驗和結果

A. 實驗設定

我們進行了兩次實驗來測量Perlin噪聲攻擊的效能. 在第一個實驗中, 我們一次攻擊一個影象, 目的是儘可能多地規避. 在第二個實驗中, 我們的目標是找到一組“強大的”Perlin噪聲設定（擾動）, 可以在儘可能多的影象中欺騙分類器. 在本節中, 我們將詳細介紹模型體系結構, 訓練方法, 我們使用的攻擊以及我們如何評估攻擊效能.

模型

我們使用經過預先訓練的ImageNet模型[19], 它們具有Inception v3 [55]和Inception ResNet v2 [56]架構. 這些模型實現了最先進的效能, 在標準資料集上訓練時, 前5個損失精度分別為6.1％和4.8％. 這些網路將尺寸為299×299×3的影象作為輸入.

我們還採用了更強大的Inception ResNet v2的對抗訓練版本：Tramer等. [21]按照[20]的方法對抗Inception ResNet v2, 該網路將被稱為IRv2adv. 然後他們使用整體對抗訓練來進一步開發他們自己的模型, 我們將其稱為IRv2adv-ens. 有關對抗和整體對抗訓練過程的完整細節, 我們請讀者參考[20]和[21]. 從[21]中獲取模型使我們能夠更好地與使用現有針對ImageNet分類器的快速攻擊的結果進行比較：FGSM, Step-LL和Iter-LL.

個體攻擊

在我們的第一個實驗中, 我們對來自驗證集的1,000個隨機影象進行每個影象的攻擊, 每個影象的預算最多為100個查詢.

我們測試三種不同的攻擊方法. 首先是逐畫素隨機噪聲擾動來設定生成對抗性示例的基線, 我們將其稱為隨機. 在∞範數約束內隨機均勻地選擇畫素的影象噪聲值. 如果我們的攻擊效能並不比這個隨機噪聲好, 那麼我們不認為它是一種有效的攻擊.

我們接下來的兩次攻擊使用Perlin噪聲, 如上一節所述. 兩種變化之間的差異在於引數選擇演算法. 第一次攻擊將使用隨機選擇的引數生成函式, 我們稱之為Perlin-R. 給定單個影象, 我們迭代隨機引數設定, 直到該影象被規避.

第二次攻擊利用貝葉斯優化來選擇生成函式的引數, 我們將其稱為Perlin-BO. 給定單個影象, 我們使用貝葉斯優化更新我們的引數選擇, 直到該影象被迴避. 這種攻擊是自適應的, 允許更有效的查詢.

通用攻擊

在我們的第二個實驗中, 我們的目標是找到強大的對抗性Perlin噪聲設定, 這些設定可以在整個驗證集中進行推廣. 這些攻擊在來自驗證集的8,000個隨機影象上進行評估.

我們測試了兩個Perlin噪聲攻擊, Perlin-R和PerlinBO. 引數選擇演算法與第一個實驗類似, 但每個攻擊的效能都是在所有驗證影象上測量的. 對於Perlin-R, 我們迭代1000個隨機Perlin噪聲設定, 並測量所有驗證影象上每個設定的錯誤率. 由於Perlin-R不使用其他資訊, 因此攻擊無需更改.

對於Perlin-BO, 我們使用貝葉斯優化來發現強烈的Perlin噪聲擾動, 從而最大化錯誤分類的驗證影象的數量. 我們將影象資料集分成兩個獨立的部分, 用於培訓和評估階段. 實際上, 這對應於校準和攻擊階段. 訓練集將針對不同大小進行測試, 範圍從10到2,000個影象, 預算為50次迭代, 用於貝葉斯優化. 貝葉斯優化的目標函式將是最大化訓練集中錯誤分類的影象數量. 在評估階段, 我們測量驗證影象上產生的“最佳”Perlin噪聲設定的錯誤率.

B. 個體的Perlin噪聲攻擊

我們得到的結果已經報告在表I中. 儘管自然影象的誤差很小, 並且對隨機擾動具有合理的效能, 但是對於我們的Perlin噪聲對抗性示例, 分類器具有顯著更高的誤差.

最脆弱的目標模型在所有影象上成功迴避. 在最壞的情況下, Inception v3在清潔影象上的前1錯誤為21.8％, 對PerlinBO有100％的錯誤. 在模型中, IRv2adv-ens中最強大的, 在清晰影象上的前1個誤差為20.6％, 對Perlin-BO為89.5％, 效果不是很好. Perlin噪聲對抗性的例子.

對於前5個錯誤, 分類更好, 因為更容易做出正確的前5個預測. 然而, 對於所有類別的影象幾乎一半的對抗性示例仍然會出現錯誤分類. 在最糟糕的情況下, Inception v3在清潔影象上的前5個誤差為7.5％, 對Perlin-BO的前5個誤差為71.2％. 最強大的分類器IRv2adv-ens在乾淨影象上有5％的前5個誤差, 對Perlin-BO有45.2％的誤差.

分類器的比較

Inception ResNet v2神經網路比Inception v3神經網路更具彈性, 與[21]的結果一致. 這可以歸因於具有更多引數和層的網路. 在Inception ResNet v2網路中, 對抗和整體訓練略微提高了其對抗Perlin噪聲攻擊的穩健性. 這種邊際改進可以歸因於在增強資料集上訓練的分類器, 其中影象包含結構化的對抗性噪聲. 但是, 我們注意到這些改進僅為Perlin噪音攻擊提供了邊際防禦.

攻擊性的比較

Perlin噪聲攻擊都大大優於畫素隨機攻擊. 最強大的攻擊是Perlin-BO, 但Perlin的兩次噪聲攻擊都會對分類器造成嚴重的錯誤率.

對於整體效能, Perlin-BO優於Perlin-R. 這是合理的, 因為前者使其查詢適應輸出而後者不適應. 然而, Perlin-BO優於Perlin-R的優勢在於前1個錯誤比前5個錯誤更大. 他們的前5個錯誤之間的差距非常小, 所有結果的差距不到5個百分點. 這表明我們使用的程式性噪聲函式受限於它能夠以多大的精度逃避目標分類器的程度. 我們假設可以通過為生成函式新增更多複雜性來改進這一點.

從理論上講, Perlin-BO優於Perlin-R的主要優點是它可以使用較少的查詢來實現規避. 但是, 在比較前5個錯誤與查詢數量時, 這一點並不明顯. 如圖2中的第二個圖所示, 對於前5個誤差, Perlin噪聲攻擊的效能沒有太大分離. 這個結果可能歸因於增加前5個誤差的困難以及我們選擇的程式噪聲函式的簡單性. 我們假設我們當前的Perlin噪聲攻擊已經達到了這個設定中前5個誤差的最佳可能效能.

當控制ε時, 攻擊在較低的擾動預算中自然不太有效, 如圖4所示. 這阻礙了我們的攻擊, 因為它限制了我們產生的Perlin噪聲的空間. 對於ε= 4/256, 我們的Perlin噪聲攻擊幾乎不會對隨機噪聲產生影響, 特別是對於前5個誤差. 這種效能差距並不顯著, 這意味著我們的攻擊在這種極其嚴格的限制環境中無效. 之後, Perlin噪聲攻擊得到改善, Perlin-BO的效能從ε≥8/256處起飛. 實際上, 較小的ε擾動預算導致更具說服力的對抗性示例, 因為對原始影象的篡改並不明顯. 即使有更嚴格的ε, Perlin攻擊也會導致50％或更多的前1個錯誤.

查詢次數的比較

在圖5中, 我們觀察到分類錯誤在第一個5到10個查詢中顯著增加, 並且改進開始在大約20個查詢時減慢. 前者顯示了分類的脆弱性, 因為對抗性的Perlin噪聲攻擊的初始查詢足以導致錯誤分類.

隨著查詢數量的增加, 效能有一個穩定的基礎, 這表明我們基本的Perlin噪聲攻擊的有效性的理論上限, 考慮到它的設定和約束. 以Perlin-BO為100個查詢作為我們的上限, 我們觀察到Perlin-R和Perlin-BO在他們的前幾個查詢（20以下）中接近這個上限. 注意Perlin-BO如何比PerlinR更均勻或更差, 但是在超過10個查詢時它會超過它. 由於攻擊在100次查詢之前的效能水平很高, 因此不需要更大的查詢預算.

我們的初步結果表明神經網路對Perlin噪聲攻擊非常脆弱. 這很明顯, 對於大部分影象, 我們成功的對抗性示例僅使用少量查詢（少於20個）生成. 相比之下, 其他不可轉移的黑盒攻擊, 如[12], [22], [23], 需要數千個查詢來逃避ImageNet中的單個影象. 即使使用隨機非自適應Perlin-R攻擊, 我們也可以在幾個查詢中達到上限. 這進一步證明了測試分類器對Perlin噪聲對抗性例項的不穩定性.

這些結果提出了單個Perlin噪聲攻擊在多個影象中作為對抗擾動的概括性的問題. 給定一組固定的引數θ, 我們想要知道所有影象中所得到的對抗擾動G（θ）的逃逸率. 另外, 我們想知道這種情況發生的程度, 以及我們是否可以找到一組最佳引數來逃避給定分類器的最大數量的影象.

C. 通用的Perlin噪聲攻擊

Perlin-R

我們測試了1,000個隨機選擇的Perlin噪聲設定並在我們的驗證集上評估了它們的效能. 清潔影象上分類器的前1和5錯誤分別約為20％和6％.

對於前1個錯誤, 圖6顯示Perlin噪聲在所有分類器中達到至少26％的誤差. 因此, 分類器非常脆弱, 因為每個隨機選擇的Perlin噪聲設定本身就是對大部分影象的有效對抗擾動. 對於對側訓練的模型IRv2adv和IRv2adv-ens, 至少有一半的Perlin噪聲設定達到最小40％的誤差. 同樣, 至少有一半的Perlin噪聲攻擊分別對IRv2和v3分類器至少有50％和60％的誤差.

應該強調的是, 單一擾動會導致這種規模的錯誤分類. 對於IRv2adv和IRv2adv-ens, 實驗中最佳單個Perlin噪聲擾動所達到的最大誤差為約52％, 而對於IRv2和v3, 該數值分別為約62％和76％. 這些對抗性擾動的普遍性是顯著的, 特別是隨著這些Perlin噪聲設定的隨機選擇.

對於前5個錯誤, 結果並不像通常情況下的結果那樣明顯. 儘管如此, 結果仍然認為至少有一半的Perlin噪聲設定將導致所有分類影象的至少一個影象的錯誤分類, 如圖6所示.

Perlin-BO

在這裡, 訓練或驗證階段使用貝葉斯優化來進行單一的Perinnoise擾動, 從而最大化從訓練資料集中逃避的影象數量. 我們最初認為擁有更大的訓練集會使驗證集上的效能顯著提高. 但是, 我們的結果表明, 相對於訓練集大小, 改進是遞增的. 這具有顯著的意義, 因為黑盒對手可以通過較小的訓練集實現類似的攻擊效能, 這意味著校準攻擊所需的資料和查詢更少

我們在表II中顯示了IRv2分類器的所有訓練集大小的完整結果. 其他分類的尺寸差異很大, 因此我們不在此處加以說明.

與不同訓練集合大小相關的差異最多為7個絕對百分點. 這與訓練集之間的差異形成鮮明對比, 訓練集之間的差異是彼此相比的2到200倍. 結果的差異可歸因於Perlin-BO對訓練資料的過度擬合, 對於較小的訓練集, 這一點更為明顯. 儘管有這樣的解釋, 結果仍然在一個狹窄的範圍內. 我們的驗證集中的影象和標籤分佈非常均勻, 因此結果的相似性表明, 除了可能導致逃避的常見Perlin噪聲模式之外, 所有類別的共同點都存在.

在表III中, 我們關注的是100個樣本的中等訓練集. 此設定可平衡攻擊效能和查詢數量. 我們看到Perlin噪聲設定的一小部分實現了類似於我們廣義Perlin-BO攻擊的效能. 例如, Perlin-BO在分類器v3上實現了59.1％的前5個逃避, 而圖6中的Perlin-R結果表明, 在相同的分類器中, 不到2％的Perlin噪聲設定達到至少58％的前1個逃避

由於Perlin-BO和Perlin-R的結果具有相似性, 因此可以合理地假設這是我們選擇的程式噪聲函式中最強的對抗性擾動. 然而, 這可以通過更復雜的生成函式來改進.

D. 相關工作的對比

對低維資料集（如MNIST和CIFAR）的攻擊在文獻中更為突出. 其中許多攻擊也是白盒, 或者不容易擴充套件到大型影象資料集. 此外, 這些攻擊通常需要每個影象多達數千次迭代, 如[22]和[23]. 我們的工作處於不同的環境中, 具有更現實的約束.

現有的黑盒攻擊對查詢來說是無效的; 那些提高效率的人依賴於可轉移性, 這就是一個更強大的對手. 儘管這些攻擊在[20]和[25]中相對成功, 但它們仍然會產生構建和訓練替代模型的額外開銷. 它不僅成本高昂, 特別是對於大型資料集, 而且還需要訪問類似的資料集和與目標模型相當的模型.

可轉移性攻擊使用快速梯度方法快速生成對抗性示例. 通常, 在通過重試執行可轉移性時, 每個樣本需要一些查詢. 我們考慮的攻擊是FGSM, Step-LL, R + StepLL, 以及[20]和[21]中所示的兩步Iter-LL. 作為參考, 我們還將我們的結果與這些快速梯度攻擊的白盒版本進行比較. 我們將這些攻擊組稱為“快速漸變攻擊”（FGA）, 並在用作白盒（FGA-W）和黑盒（FGA-B）攻擊時進行區分.

為了比較, 我們在FGA的相同分類中使用[21]的結果. 為了補償測試資料集的變化, 我們比較了乾淨影象錯誤率與攻擊產生的錯誤率之間的差異. 由於網路具有相同的權重並且測試影象來自相似的分佈, 因此在95％的置信區間內結果的差異應該可以忽略不計.

我們將現有方法與我們個別的Perlin噪聲攻擊進行比較, 因為它們旨在最大化每個影象的規避, 而廣義版本的目的是找到避開許多影象的單個擾動. 表IV中報告的結果表明, Perlin噪聲攻擊均顯著優於基於可轉移性的黑盒攻擊FGAB. 應該注意的是, 對抗性和整體對抗性訓練被設計為對抗FGAB的防禦, 因此IRv2adv和IRv2adv-ens的這個結果應該不足為奇. 如前所述, 對抗性訓練使得這些分類訓練略微好一點, 但對於Perlin噪音攻擊並沒有那麼明顯.

兩種Perlin噪聲攻擊都比快速白盒攻擊更好. 對於FGA-W, 應該注意的是, IRv2adv經過對抗訓練可以直接抵禦白盒攻擊, 並且IRv2adv-ens上的整體訓練並沒有使他們的模型對FGA-W具有魯棒性[21]. 特別是Perlin-BO攻擊, 即使我們考慮90％的置信區間, 也能通過顯著的邊緣獲得更好的結果. 同樣有趣的是, Perlin-R實現了與白盒攻擊相當或更好的結果, 因為它的引數選擇完全是隨機的.

關於查詢效率, FGA-B消除了我們的Perlin噪聲攻擊, 因為代理模型允許他們在查詢目標模型之前重新確定其對抗性示例. 然而, Perlin噪聲攻擊能夠在每個影象的前10個查詢中導致其 大部分逃逸, 這對於黑盒攻擊來說是相當低的. 通過使用Perlin-BO的通用版本建立可轉移性攻擊, 還可以將查詢數量大大減少到類似於FGA-B的級別.

我們假設我們的Perlin噪聲攻擊利用了學習演算法中的固有弱點以及它們對影象中模式的解釋. 相比之下, 諸如FGA的現有方法主要關注基於梯度的優化以解決目標函式. 由於高維度, 基於梯度的演算法變得難以解決, 計算成本昂貴, 並且可能陷入區域性最優的口袋中.