經驗風險最小化，是根據定義的cost函式，來使訓練集合的cost(損失)函式的整體最小，一般常見的的損失函式有一下：

當選定了損失函式以後，就可以確定經驗風險函式：1/N * L(yi, f(xi)) ( i的範圍是１到Ｎ的所有訓練集做累加）；

所謂經驗風險最小化就是確定模型的引數使得經驗風險函式最小。

但是當訓練集合很小而訓練集合的元素特徵又比較多的時候，單單使用經驗風險最小化函式，會造成模型過擬合現象（過擬合就是訓練出來的模型對訓練集合的預測效果很好，但對新引入的資料預測效果很差。）

解決上面這種情況：有兩種方法，１、減少特徵，這樣可以避免過擬合現象，但是會導致模型未能更多的利用有效資訊。

２，正則化（結構風險最小化）。

也就是訓練的目標改為使得結構風險函式最小：

Ｊ(f) 表示的是模型的複雜度，前面的是係數。一般Ｊ(f)是模型引數向量的１範數或者是２範數。

這樣在原來的基礎之上加入後面的限制之後，會使得在訓練的過程中使得模型的引數總體儘可能變小，會使得模型避免過擬合現象。