學了線性迴歸和邏輯迴歸後不得不提一下正則化

正則化是解決過擬合問題,是機器學習演算法中為防止資料過擬合而採取的“懲罰”措施。

擬合:通俗的講就是貼近的關係，擬合的三種狀態，欠擬合（貼的不夠緊），just right(剛剛好，恰到好處)，過擬合（貼的太緊，以至於很容易出錯，不能泛化）

故事：

校服的故事，學校要做一批校服，由1班的學生來進行訓練,對於1班的學生來說衣服合適，想拿到2班進行推廣，可是發現二班的情況不理想，不合適的居多，原因就是完全太貼近1班的資料，導致不能被推廣。要想退廣的話就得拉大1班的實測值與預測值得距離，面對這樣的過擬合問題，進行修改，引入緩衝概念正則化 lamda，這裡比喻成馬甲，用馬甲來調節1班的實測值與與測試的差距

問題由來：

中間知識：

針對過擬合問題，給代價函式加入一個“馬甲”lamda

針對線性迴歸：

h=1/2m*sum((h-y)^2)+lamda/2m*sum(theta^2)

針對邏輯迴歸：

h=

梯度下降：

dettheta=1/m*X.T.dot(h-y)+lamda/m*theta