正則化方法：防止過擬合，提高泛化能力

在訓練資料不夠多時，或者overtraining時，經常會導致overfitting（過擬合）。其直觀的表現例如以下圖所看到的。隨著訓練過程的進行，模型複雜度新增，在training data上的error漸漸減小。可是在驗證集上的error卻反而漸漸增大——由於訓練出來的網路過擬合了訓練集，對訓練集外的資料卻不work。

為了防止overfitting。能夠用的方法有非常多，下文就將以此展開。有一個概念須要先說明，在機器學習演算法中，我們經常將原始資料集分為三部分：training data、validation data。testing data。這個validation data是什麼？它事實上就是用來避免過擬合的。在訓練過程中。我們通經常使用它來確定一些超引數（比方依據validation data上的accuracy來確定early stopping的epoch大小、依據validation data確定learning rate等等）。那為啥不直接在testing data上做這些呢？由於假設在testing data做這些，那麼隨著訓練的進行，我們的網路實際上就是在一點一點地overfitting我們的testing data，導致最後得到的testing accuracy沒有不論什麼參考意義。因此，training data的作用是計算梯度更新權重，validation data如上所述。testing data則給出一個accuracy以推斷網路的好壞。

避免過擬合的方法有非常多：early stopping、資料集擴增（Data augmentation）、正則化（Regularization）包含L1、L2（L2 regularization也叫weight decay），dropout。

L2 regularization（權重衰減）

L2正則化就是在代價函式後面再加上一個正則化項：

C0代表原始的代價函式，後面那一項就是L2正則化項。它是這樣來的：全部引數w的平方的和，除以訓練集的樣本大小n。

λ就是正則項係數，權衡正則項與C0項的比重。另外另一個係數1/2，1/2經常會看到，主要是為了後面求導的結果方便，後面那一項求導會產生一個2。與1/2相乘剛好湊整。

L2正則化項是怎麼避免overfitting的呢？我們推導一下看看，先求導：

能夠發現L2正則化項對b的更新沒有影響，可是對於w的更新有影響:

在不使用L2正則化時。求導結果中w前係數為1，如今w前面係數為 1−ηλ/n ，由於η、λ、n都是正的。所以 1−ηλ/n小於1，它的效果是減小w。這也就是權重衰減（weight decay）的由來。

當然考慮到後面的導數項，w終於的值可能增大也可能減小。

另外。須要提一下，對於基於mini-batch的隨機梯度下降，w和b更新的公式跟上面給出的有點不同：

對照上面w的更新公式。能夠發現後面那一項變了，變成全部導數加和，乘以η再除以m，m是一個mini-batch中樣本的個數。

到眼下為止，我們僅僅是解釋了L2正則化項有讓w“變小”的效果，可是還沒解釋為什麼w“變小”能夠防止overfitting？一個所謂“顯而易見”的解釋就是：更小的權值w，從某種意義上說，表示網路的複雜度更低，對資料的擬合剛剛好（這個法則也叫做奧卡姆剃刀），而在實際應用中，也驗證了這一點。L2正則化的效果往往好於未經正則化的效果。當然，對於非常多人（包含我）來說，這個解釋似乎不那麼顯而易見，所以這裡加入一個略微數學一點的解釋（引自知乎）：

過擬合的時候，擬合函式的係數往往非常大，為什麼？例如以下圖所看到的，過擬合。就是擬合函式須要顧忌每個點。終於形成的擬合函式波動非常大。在某些非常小的區間裡，函式值的變化非常劇烈。

這就意味著函式在某些小區間裡的導數值（絕對值）非常大，由於自變數值可大可小，所以僅僅有係數足夠大，才幹保證導數值非常大。

而正則化是通過約束引數的範數使其不要太大，所以能夠在一定程度上降低過擬合情況。

L1 regularization

在原始的代價函式後面加上一個L1正則化項。即全部權重w的絕對值的和。乘以λ/n（這裡不像L2正則化項那樣，須要再乘以1/2。詳細原因上面已經說過。）

相同先計算導數：

上式中sgn(w)表示w的符號。那麼權重w的更新規則為：

比原始的更新規則多出了η * λ * sgn(w)/n這一項。

當w為正時，更新後的w變小。

當w為負時。更新後的w變大——因此它的效果就是讓w往0靠。使網路中的權重儘可能為0，也就相當於減小了網路複雜度，防止過擬合。

另外，上面沒有提到一個問題，當w為0時怎麼辦？當w等於0時，|W|是不可導的。所以我們僅僅能依照原始的未經正則化的方法去更新w，這就相當於去掉η*λ*sgn(w)/n這一項，所以我們能夠規定sgn(0)=0，這樣就把w=0的情況也統一進來了。

（在程式設計的時候，令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1）

Dropout

L1、L2正則化是通過改動代價函式來實現的，而Dropout則是通過改動神經網路本身來實現的，它是在訓練網路時用的一種技巧（trike）。它的流程例如以下：

假設我們要訓練上圖這個網路，在訓練開始時，我們隨機地“刪除”一半的隱層單元，視它們為不存在，得到例如以下的網路：

保持輸入輸出層不變，依照BP演算法更新上圖神經網路中的權值（虛線連線的單元不更新，由於它們被“暫時刪除”了）。

以上就是一次迭代的過程，在第二次迭代中，也用相同的方法，僅僅只是這次刪除的那一半隱層單元，跟上一次刪除掉的肯定是不一樣的。由於我們每一次迭代都是“隨機”地去刪掉一半。

第三次、第四次……都是這樣，直至訓練結束。

以上就是Dropout，它為什麼有助於防止過擬合呢？能夠簡單地這樣解釋。運用了dropout的訓練過程，相當於訓練了非常多個僅僅有半數隱層單元的神經網路（後面簡稱為“半數網路”），每個這種半數網路，都能夠給出一個分類結果，這些結果有的是正確的，有的是錯誤的。

隨著訓練的進行，大部分半數網路都能夠給出正確的分類結果。那麼少數的錯誤分類結果就不會對終於結果造成大的影響。

更加深入地理解。能夠看看Hinton和Alex兩牛2012的論文《ImageNet Classification with Deep Convolutional Neural Networks》

資料集擴增（data augmentation）

“有時候不是由於演算法好贏了。而是由於擁有很多其它的資料才贏了。”

不記得原話是哪位大牛說的了，hinton？從中可見訓練資料有多麼重要，特別是在深度學習方法中。很多其它的訓練資料。意味著能夠用更深的網路，訓練出更好的模型。

既然這樣，收集很多其它的資料不即可啦？假設能夠收集很多其它能夠用的資料，當然好。可是非常多時候，收集很多其它的資料意味著須要耗費很多其它的人力物力。有弄過人工標註的同學就知道。效率特別低，簡直是粗活。

所以。能夠在原始資料上做些改動，得到很多其它的資料，以圖片資料集舉例，能夠做各種變換，如：

• 將原始圖片旋轉一個小角度

• 加入隨機噪聲

• 一些有彈性的畸變（elastic distortions）。論文《Best practices for convolutional neural networks applied to visual document analysis》對MNIST做了各種變種擴增。

• 擷取（crop）原始圖片的一部分。

  比方DeepID中，從一副人臉圖中，截取出了100個小patch作為訓練資料，極大地添加了資料集。

  感興趣的能夠看《Deep learning face representation from predicting 10,000 classes》.

  很多其它資料意味著什麼？

用50000個MNIST的樣本訓練SVM得出的accuracy94.48%，用5000個MNIST的樣本訓練NN得出accuracy為93.24%，所以很多其它的資料能夠使演算法表現得更好。

在機器學習中，演算法本身並不能決出勝負。不能武斷地說這些演算法誰優誰劣，由於資料對演算法效能的影響非常大。