1. 程式人生 > >過擬和問題解決方法

過擬和問題解決方法

過擬合問題往往源自過多的特徵。

解決方法

1)特徵率選,減少特徵數量(減少特徵會失去一些資訊,即使特徵選的很好)

  • 可用人工選擇要保留的特徵;
  • 模型選擇演算法;

2)正則化(特徵較多時比較有效)--L1範數和L2範數

保留所有特徵,但減少θ的大小

正則化方法

       正則化是結構風險最小化策略的實現,是在經驗風險上加一個正則化項或懲罰項。正則化項一般是模型複雜度的單調遞增函式,模型越複雜,正則化項就越大。