擬合 進行 image 價格 常用 從表 cnblogs 優化 深度

本篇主要講的是多變量的線性回歸，從表達式的構建到矩陣的表示方法，再到損失函數和梯度下降求解方法，再到特征的縮放標準化，梯度下降的自動收斂和學習率調整，特征的常用構造方法、多維融合、高次項、平方根，最後基於正規方程的求解。

更多內容參考 機器學習&深度學習

在平時遇到的一些問題，更多的是多特征的

多變量的表示方法

多元線性回歸中的損失函數和梯度求解

有時候特征各個維度是不同規模的，比如房間的平米數和房間數，兩個數量級相差很大。如果不叢任何處理，可能導致梯度優化時的震蕩。

一般如果特征時在可接受的範圍內，是不需要做特征縮放的。如果很大或者很小，就需要考慮進行特征的縮放了。

標準化，即

自動收斂測試：如果梯度在優化後變化很小，比如10^-3，那麽就認為梯度優化已經收斂。

如果發現誤差在不斷的增加或者不斷的抖動，那麽應該減小學習率，這一版都是由於學習率過大導致的震蕩。但是如果學習率設置的很小，收斂的速度又會很慢。一般都是采用不同的學習率來測試，比如0.001, 0.01, 0.1, 1 ....

有的時候我們選擇的特征，並不是直接使用數據，而是通過數據擬合出新的特征。比如我們有房子的長寬，但是使用特征的時候，可以構造出一個面積特征，會更有效果。

通過x構造新的特征替換高維特征

如果不希望房子的價格出現下降，可以構造平方根的特征：

基於正規方程解

基於梯度下降和正規方程的區別

如果特征之間共線，會導致矩陣不可逆

吳恩達機器學習筆記 —— 5 多變量線性回歸