論文源址：https://arxiv.org/abs/1710.08864

tensorflow程式碼: https://github.com/Hyperparticle/one-pixel-attack-keras

摘要

       在對網路的輸入上做點小處理，就可以改變DNN的輸出結果。本文分析了一種極限跳線下的攻擊情形，只改變一個輸入中的一個畫素使網路的輸出發生改變。本文提出了一個基於差分進化生成單畫素的對抗性擾動。可以以最小攻擊資訊的條件下，對更多型別的網路進行欺騙。結果表明，CIFAR-10測試集上68.36%的自然場景圖片，和41.22%ImageNet上的圖片，可以通過修改一個畫素，通過以73.22和5.52%的置信度對一個目標類別進行擾動欺騙。

介紹

     在影象識別領域，DNN已經超過了傳統的影象處理方法，甚至達到了人類的識別水平。然而，研究發現，在自然圖片上加一些人為i擾動可以改變使DNN進行錯誤的分類。並提出了有效生成“對抗影象”樣本的演算法。對抗影象生成的一個常規方法是通過在正確分類的影象上新增一些人眼觀察不到的微量擾動。這些改變會使分類器對這些修改過的圖片預測出一個不同類別。不幸的是，先前的攻擊方法並沒有考慮極限條件下的情形，擾動量過大（像對較多量的畫素進行修改），以至於人眼可以觀察到變化。    此外，研究在極限條件下對抗影象的生成可以對影象的幾何結構及DNN在高維空間的整體行為產生新啟發。比如，對抗影象與決策邊界相關的特徵對邊界形狀的描述有利。

    本文提出了一個黑盒DNN攻擊，僅擾動一個差分進化的單個畫素，而其中唯一可用的資訊是概率標籤。貢獻如下：

        （1）有效性，在CIFAR-10資料集上，在三個常見的網路結構框架上進行無目標攻擊，有效率為68.71%,72.85%,63.53%。平均每個圖片可以被擾動為1.9，2.3和1.7個其他的類別。在ImageNet上BVLC和AlexNet模型攻擊的有效率為41.22%。

        （2）半黑盒攻擊：只需要返回概率標籤，而不需要返回想梯度和網路結構等內部資訊等。本文只考慮了概率標籤，而不是所有明確目標的抽象化。

        （3)  靈活性：可以對梯度難以計算和不可微的網路進行攻擊。

    本文對單畫素極限條件下攻擊的思考原因：

      I.自然影象鄰域的分析，以前通過限制固定干擾向量長度分析自然圖片的鄰域。比如，通用擾動在每個畫素上新增一些小的變化，在影象的周圍獲得球形範圍內的對抗樣本。同時，少量畫素擾動可以看做是對輸入空間以較低維度進行切分，與DNN網路中高維度提取輸入特徵不同。

      II.可觀測性的評價指標，實際過程中，攻擊可以對隱藏的對抗資訊有效果。前人的工作沒有可以保證做的改變不被人觀察到。一種直接方式是儘可能少的修改擾動量。本文提出了簡單的限制擾動畫素的個數，而不是增加額外的限制條件與設計複雜的損失函式構建擾動，換言之，本文通過控制擾動畫素的個數而不是擾動向量來評估擾動的強度。考慮了最差情形，單個畫素的條件。

相關工作

      DNN的安全問題也是一個熱點話題，（1）有通過基於反向傳播演算法獲得的梯度演算法對人工擾動的敏感度進行調優操作。(2）快速梯度訊號 演算法計算有效的擾動，前提是基於輸入的維度較高且輸入為線性，因此，分類數較多的網路對小擾動敏感。(3）提出基於DNN的分類邊界為線性的假設，貪婪型的擾動搜尋演算法（3）不需要中間系統的資訊像梯度等進行黑盒攻擊操作。由於較高維度空間很難理解，因此，DNN的邊界的性質很少有人關注。然而，對DNN網路對對抗擾動魯棒性的研究為上述複雜問題帶來了曙光。比如，每個自然影象和任意影象對於對抗干擾是脆弱的,加入圖片是均勻分佈的，則輸入空間中大部分輸入資料的點聚集在邊界附近。有研究表明，擾動大多影響在影象中發生曲折的部分。分析表明，可能DNN分類邊界多樣性的可能性較低，不同資料點邊界附近的形狀可能是相似的。

方法

     問題描述 對抗圖片的生成可以看作是一個帶條件的優化問題，假定每個圖片可以由向量表示，每個向量中的元素代表影象的一個畫素值。f作為目標影象分類器，接受一個n維的輸入代表原始正確分類為t的圖片，對於輸入x分類為t的概率為，為根據輸入x人為設計的一個對抗擾動，干擾目標類別為adv及最大修改限制L，L由e(x)的長度進行限制。對攻擊性問題，主要解決如下優化問題。

         問題主要分為兩個部分（1）需要干擾的維度（2）每個維度需要干擾多大的量，本文有點不同，對於單畫素，d為1,先前的工作需要修改部分畫素。

      對於單畫素的修改可以看作是沿著n維向量中的一個平行的方向對資料點進行擾動。對3（5）個畫素點進行修改，將資料點變換到3(5)維空間中。一般來說少量的畫素攻擊，在輸入切片低維上造成擾動。實際上，並不關心擾動的強度，單個畫素可以對圖片中的n個方向進行多個維度任意強度的攻擊。

如下圖，

     因此，通常擾動樣本的建立是通過擾動所有畫素建立，來建立修改程度和最大的，本文的思考方向相反，只考慮修改擾動的畫素數量，而不是擾動的強度。

     差分進化(DE) 差分進化演算法是解決複雜多模型優化問題的優化演算法。DE屬於一般的進化演算法，在population select階段可以保持多樣性，實際中相比梯度和其他進化演算法，更加高效的尋找可行解，在每次迭代過程中，根據當前的population（father）生成候選解集合（child）。每個子類與其對應的父類進行比較，如果比父類更適合，則可以留存下來。這樣，只與父類和子類進行比較，在保持多樣性同時可以獲得較高的穩定值。由於，DE不需要梯度的資訊進行優化，因此，不要求目標函式是已知的或者是可微分的。比梯度下降方法可應用的問題更廣（像不可分，動態噪音等）。基於DE演算法進行對抗影象的生成有以下幾個優點：

                I.可以以更大的概率找到全域性最優解。DE不像梯度下降或者貪婪演算法那樣受區域性影響較大（保持多樣性的機制及子候選解集影響）。本文中有一個很強的限制條件，（只允許修改一個畫素）使問題變得更加複雜。

                II.需要得資訊更少。DE不需要梯度下降，擬牛頓法等優化方法需要的資訊進行優化求解。這對於對抗圖片的生成是至關重要的。（1）有些網路是無法進行區分的（2）為了求解梯度資訊需要獲得目標系統更多的資訊，有時是無法獲得的。

                III簡易性 本文提出的方法與分類器無關，獲得類別的概率就足夠。

        仍存在許多進化演算法的改進體，像自適應，奪目標演算法等。

      方法和引數設定   

              將擾動量編碼維array，通過DE演算法進行優化。一個候選解集中包含固定數量的擾動，每個擾動由五個元素組成（x,y座標值及RGB的畫素值）一個擾動修改一個畫素值，初始候選解 的數量為400個，基於DE演算法生成子候選解集（400）個。每個候選解根據population的索引與其對應的父類進行比較，獲勝的則存活下來進行下一次生成。迭代最大次數為100，當目標類別的概率大於一個半分比也可以提前停止。如果攻擊成功，則真實類別的標籤與分數最高的假類別進行比較。

              population初始化：CIFAR-10 U(1,32) ImageNet U(1,227)基於上述兩個分佈生成座標。基於高斯分佈N

來初始化RGB的值  ,對於CIFAR-10，適應度函式為概率類別的標籤，ImageNet為真正的標籤。

實驗

評價指標：

（1）Success   Rate: 在非目標攻擊的情況下，被定義為對抗影象被成功分為任意其他類別的比例。 在目標攻擊的情況下，它被定義為將影象擾動為一個特定目標類的概率。

（2）Adversarial Probability Labels(confidences):累加每次成功擾動為目標類別概率值，然後除以成功擾動的總數。表示模型對對抗影象產生“誤分類”的confidence。

  (3)Number of target classes  計算成功擾動到一定數量類別的圖片的數量。尤其，計算無法被其他類別擾動的圖片數量，可以評估非目標攻擊的有效性。

（4）原始目標類別對的數量  計算原始目標類別對被攻擊的次數。

 Reference

      [1] M. Barreno, B. Nelson, A. D. Joseph, and J. Tygar. The securityofmachinelearning. MachineLearning,81(2):121– 148, 2010.

      [2] M. Barreno, B. Nelson, R. Sears, A. D. Joseph, and J. D. Tygar. Can machine learning be secure? In Proceedings of the 2006 ACM Symposium on Information, computer and communications security, pages 16–25. ACM, 2006.

      [3] J. Brest, S. Greiner, B. Boskovic, M. Mernik, and V. Zumer. Self-adapting control parameters in differential evolution: A comparativestudyonnumericalbenchmarkproblems. IEEE transactions on evolutionary computation, 10(6):646–657, 2006.