一、過擬合（overfitting）問題

上圖是房價（Price）與房子面積（Size）的關係的例項。我們的目標是利用多項式迴歸來根據房子面積來預測房價。

左邊的模型僅用了一次項，此時模型引數有倆θ0、θ1，是一條直線；直觀的觀察樣本點（紅色×）的趨勢，我們發現該模型並不能很好的擬合兩者的關係（很明顯，隨著房子面積增大，住房價格的變化趨於穩定或者說越往右越平緩）。此類情況稱為欠擬合（underfitting）！

右邊的模型用到了四次項，此時模型引數由五個θ0、θ1、θ2、θ3，θ4，此時從表面看上去模型很好的擬合了樣本點；但實際上這是一條非常扭曲的曲線，它不停的上下波動。當一個新的樣本（Size）需要預測時，結果也不準確！這類情況叫做過擬合（overfitting）！

只有中間的模型，引數不多不少，剛好能反應Size和Price之間的真實關係！

二、利用正則化來解決過擬合問題

首先應當知道：

1、特徵數量過多（對應上例中就是多項式項數過多，即θ引數數量過多）；

2、訓練樣本過少

都會導致過擬合的問題。因此，對應的，可以從兩個方面下手來解決過擬合的問題：

1、減少特徵數量（reduce number of features）

2、增加樣本數量，或樣本增強

但有時我們的樣本數量有限，同時我們也不想減少特徵數量（因為可能每個特徵都會對結果一些貢獻），該怎麼辦呢？

答案就是——用正則化！

正則化就是在特徵數量不變的情況下，減少某些θ引數的值，使其對預測結果（y，上例中就是Price）的貢獻較小！

對於上例右側情況（過擬合的模型），正則化具體過程：

首先得知道訓練模型就是最小化一個代價函式：

當上式最小時的引數θ值，就是我們要訓練的模型引數了。

接下來，我們假設加上倆懲罰項，從而使θ3，θ4足夠小。例如下邊這樣：

1000 只是我隨便寫的某個較大的數字而已。這樣我們最小化加了懲罰項的代價函式時，θ3，θ4就非常小，接近於0；這樣模型就和上例中間的模型差不多了！這就是正則化的效果！

嚴謹一些的話，正則化就是在代價函式中加入懲罰項：

然後最小化代價函式就可以了：

其中：

就是正則項！λ成之為正則化引數，用來控制平衡。當λ非常大時，會把使所有的引數非常小！這樣模型也是不行的。

三、線性迴歸中的正則化

對於線性迴歸，我們知道其最小二乘解：（推導過程略）

如果加入了正則項後：

其最小二乘解為：（推導過程略）

現在考慮 M（即樣本量）， 比 N（即特徵的數量）小或等於N的情況：

根據線性代數理論，如果有效方程數小於未知數時，方程有無窮多個解的。對應於模型就是說無法確定單一θ值！但加入了正則項後，只有λ > 0，不難證明

是可逆的，同時保證了唯一解！

二、舉例（TensorFlow中Full Connection中加入正則化。程式碼僅是示例，不保證能執行）：

#coding:utf-8
import tensorflow as tf

def get_weight(shape, lambda):
    var = tf.Variable(tf.random_normal(shape), dtype=tf.float32)
    # 把正則化加入集合losses裡面
    tf.add_to_collection("losses",tf.contrib.layers.l2_regularizer(lambda)(var))
    return var

x = tf.placeholder(tf.float32,shape=(None, 2))
y_= tf.placeholder(tf.float32,shape=(None, 1)) # ground true

# 神經網路層節點的個數
layer_dimension = [2,10,10,10,1]
# 神經網路的層數
n_layers = len(layer_dimension)
cur_layer = x
in_dimension = layer_dimension[0]
for i in range (1, n_layers):
    out_dimension = layer_dimension[i]
    weight = get_weight([in_dimension,out_dimension], 0.001)
    bias = tf.Variable(tf.constant(0.1, shape(out_dimension)))
    cur_layer = tf.nn.relu(tf.matmul(x, weight)) + bias)
    in_dimension = layer_dimension[i]
# 計算最終輸出與標準之間的loss
ses_loss = tf.reduce_mean(tf.square(y_ - cur_layer))
# 把均方誤差也加入到集合裡
tf.add_to_collenction("losses", ses_loss)
# tf.get_collection返回一個列表,內容是這個集合的所有元素
# add_n()把輸入按照元素相加
loss = tf.add_n(tf.get_collection("losses"))