泛化誤差=偏差的平方+方差+噪聲​

偏差：衡量演算法預期與實際的偏離程度，刻畫本身的擬合能力

方差：同樣大小的訓練集變動所導致學習效能的變化，刻畫資料擾動所造成的影響

噪聲：表達了當前任務任何學習演算法所能達到的期望泛化誤差下界，刻畫了問題本身的難度。

一般訓練程度越強，偏差越小，方差越大，泛化誤差一般在中間有個最小值。

如果偏差較大，方差較小，稱為欠擬合，

如果偏差較小，方差較大，稱為過擬合，​

我們希望偏差和方差越小越好，但兩者是有衝突的，稱為偏差-方差窘境（bias-variance dilemma）。

給定一個學習任務，訓練初期，由於訓練不足，學習器擬合能力不強，資料的擾動也無法使學習器產生顯著變化，欠擬合的情況。

隨著訓練增加。學習器擬合能力逐漸增強，訓練資料的擾動也能被學習器學到

充分訓練後，學習器學習能力非常強，訓練資料的輕微擾動都會導致學習器發生顯著變化，當訓練資料自身的、非全域性性的特性被學習器學到，則將發生過擬合。

高方差 採集更多樣本資料 減少特徵數量 去除非主要特徵 增加正則化引數

高偏差 引入更多相關特徵 採用多項式特徵 減少正則化引數

過擬合 方差大 偏差小

隨著訓練過程的進行，模型複雜度增加，在training data 上error逐漸減小，但在驗證集上error 反而增大， 因為訓練出啦的模型過度擬合了訓練集，對訓練集外的資料不work，

解決：正則化 、dropout、 early stop、 batch normlization 交叉驗證 資料增強 整合 boost bagging 模型融合 

一、正則化

1. ​L2正則化：目標函式增加所有權重w引數的平方和，逼迫所有w儘可能趨於0但不為0，因為過擬合時候，擬合函式需要顧忌每一個點，最終形成的擬合函式波動很大，在某些小區間，函式值變化劇烈，就是w非常大，為此，加入L2正則化懲罰權重變大的趨勢。
2. L1正則化：目標函式增加所有權重w引數的絕對值之和，，逼迫更多w引數為0，也就是變稀疏，L2因為導數也趨於0，奔向0的速度沒有L1快，，L1能實現特徵選擇，xi大部分特徵與最後輸出無關，在最小化目標函式時考慮這些額外特徵，雖然能獲得更小訓練誤差，但在預測新樣本時，這些沒用的權重反而被考慮，從而干擾了正確yi的預測，L1的引入完成特徵的自動選擇，將這些特徵權重設為0。

二、dropout

在訓練過程中，讓神經元以超引數p的概率被啟用，也就是以1-p概率被失活，每個w隨機參與，使得任意w都不是不可或缺的，效果類似數量巨大的模型整合。

三 early stop

訓練提前終止

四  batch normlization

給每層的輸出都做一次歸一化，相當於加一個線性變換層，使得下一層的輸入接近高斯分佈，這個方法相當於下一層的w訓練時避開了其輸入以偏概全，因而泛化效果比較好。