F-Principle：初探理解深度學習不能做什麼

作者丨許志欽、張耀宇

學校丨紐約大學阿布扎比分校博士後、紐約大學庫朗研究所訪問學者

研究方向丨計算神經科學、深度學習理論

近些年來，隨著深度學習在眾多實際應用中取得成功，在越來越多的科學領域內，研究人員開始嘗試利用深度學習來解決各自領域的傳統難題。和深度學習已獲得成功的問題（比如影象分類）相比，許多科學領域內的問題往往有完全不同的特性。

因此，理解深度學習的適用性，即其能做什麼尤其是不能做什麼，是一個極為重要的問題。比如設計演算法的時候，它可以幫助我們考慮是完全用深度學習來代替傳統演算法，還是僅在這個問題中的某些步驟用深度學習。

為了探討這個問題，我們首先來看下面這個例子。在下面兩組圖中，左組中的每張圖和右組有什麼差別呢？

答案是左組的每張圖中黑塊數都是奇數，而右組都是偶數。這種按奇偶區分的函式數學上叫做 parity function：

其函式值由“-1”的個數決定，如果為偶數，結果為 1，否則為 -1。

對於該函式，如果取所有可能對映的一個子集進行訓練，深度神經網路能夠很好地擬合訓練資料，但對那些未見過的測試資料，深度學習幾乎沒有預測（泛化）能力。而對於人來說，只要能從訓練資料集中學到數“-1”個數這個規則，就很容易對未見過的資料進行準確分類。

對於很多問題，如影象識別，深度學習通常能取得較好的效果（泛化能力）。為了敘述方便，我們將這些深度學習能處理好的問題稱為第一類問題，同時將深度學習處理不好（難以泛化）的問題稱為第二類問題。

那麼這兩類問題有什麼本質差別呢？深度學習模型為什麼對這兩類問題有截然相反的效果？

目前為止，大部分實驗研究和理論研究集中於研究為什麼深度學習能取得好的效果（泛化能力）。少部分的研究開始關注哪些問題深度學習難以處理。

在我們的研究中，我們希望能找到一個統一的機制，可以同時解釋深度學習在兩類問題中不同的效果。我們發現的機制可以用一句話概括： 深度學習傾向於優先使用低頻來擬合目標函式。 我們將這個機制稱為 F-Principle（頻率原則）。

我們先用一個簡單的例子來理解 F-Principle。用一個深度神經網路（DNN）去擬合如下的紅色實線函式。訓練完後，該曲線能被深度網路（藍色點）很好地擬合。

我們感興趣的是 DNN 的訓練過程。如下圖動畫所示（紅色為目標函式的 FT（傅立葉變換），藍色為網路輸出的 FT，每一幀表示一個訓練步，橫座標是頻率，縱座標是振幅），我們發現，在訓練過程中，DNN 表示的函式的演化在頻域空間有一個清晰的規律，即頻率從低到高依次收斂。

對於真實資料，如 MNIST 和 CIFAR10，對於不同的網路結構，如全連線和卷積神經網路（CNN），對於不同的啟用函式，如 tanh 和 ReLU，我們都可以觀察到 F-Principle（如下圖所示）。

接下來，我們可以用 F-Principle 來理解為什麼 DNN 在上述兩類問題的處理中有巨大的差異。從頻譜的角度，我們發現 MNIST 和 CIFAR10 資料集都有低頻佔優的特性。實驗結果顯示，全資料集（包含訓練集和測試集）在頻域空間與測試資料集在低頻部分吻合地很好，如下圖展示 MNIST 的情況。

parity 函式則不同，它是高頻佔優的。

由於 aliasing 效應，相比真實的頻譜，訓練集的頻譜在低頻處有顯著的虛假成分（見上圖）。下圖展示了一個 aliasing 的例子。

因此，對於我們舉的例子，這兩類問題在 Fourier 空間可以看到本質的差別。前者低頻佔優，後者高頻佔優。在訓練過程中，基於 F-Principle 低頻優先的機制，DNN 會傾向於用一個低頻成分較多的函式去擬合訓練資料。

對於 MNIST 和 CIFAR10，一方面由於高頻成分較小，aliasing 帶來的虛假低頻微不足道，另一方面由於 DNN 訓練中低頻優先的傾向與目標函式本身的低頻佔優的特性相一致，所以 DNN 能準確抓取目標函式的關鍵成分（下圖藍色為 DNN 學習到的函式在全資料集上的傅立葉變換在一個特定高維頻率方向的曲線），從而擁有良好的泛化能力。

而對於 parity 函式，由於高頻成分極為顯著，aliasing 帶來的虛假低頻很嚴重，同時 F-principle 低頻優先的傾向與目標函式本身高頻佔優的特性不匹配，所以 DNN 最終輸出函式相比於目標函式低頻顯著偏大而高頻顯著偏小。顯然，這種顯著的差異會導致較差的泛化能力。

我們利用 F-Principle 對深度學習能做什麼與不能做什麼做了初步的探索，理解了具有低頻優先特性的深度學習對於具有不同頻譜特性的問題的適用性。如果目標函式具有低頻佔優的特性，那麼深度學習比較容易取很好的效果，反之則不然。

進一步，我們可以利用深度學習這一特性更好地處理具體問題中的低頻成分。比如傳統演算法（如 Jacobi 迭代）在解 Poisson 方程時，一般低頻收斂慢，而高頻收斂快。我們將在下一篇文章中介紹如何利用 F-Principle 機制設計基於 DNN 的 Poisson 方程求解方法。

參考文獻

Xu, Zhi-Qin John, Zhang, Yaoyu, Luo, Tao, Xiao, Yanyang & Ma, Zheng (2019), ‘Frequency principle: Fourier analysis sheds light on deep neural networks’, arXiv preprint arXiv: 1901.06523.

#投 稿 通 道#

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？ 答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是 最新論文解讀 ，也可以是 學習心得 或 技術乾貨 。我們的目的只有一個，讓知識真正流動起來。

:memo: 來稿標準：

• 稿件確係個人 原創作品 ，來稿需註明作者個人資訊（姓名+學校/工作單位+學歷/職位+研究方向）

• 如果文章並非首發，請在投稿時提醒並附上所有已釋出連結

• PaperWeekly 預設每篇文章都是首發，均會新增“原創”標誌

:mailbox_with_mail: 投稿方式：

• 方法一：在PaperWeekly知乎專欄頁面點選“投稿”，即可遞交文章

• 方法二：傳送郵件至： [email protected] ，所有文章配圖，請單獨在附件中傳送

• 請留下即時聯絡方式（微信或手機），以便我們在編輯釋出時和作者溝通

關於PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號後臺點選 「交流群」 ，小助手將把你帶入 PaperWeekly 的交流群裡。

加入社群： http:// paperweek.ly

微信公眾號：PaperWeekly

新浪微博：@PaperWeekly