引例：當房價受房屋面積、臥室數量、樓層、房屋年齡等多個因素影響時的線性回歸算法是什麽樣的？

假設函數：h(x)=W^TX

輸入變量(x₁,w₁)、(x₂,w₂)、(x₃,w₃)、(x₄,w₄)分別代表房屋面積、臥室數量、樓層、房屋年齡和各自的權重，w₀代表偏差，則假設函數為：h(x)=w₀+w₁x₁+w₂x₂+w₃x₃+w₄x₄

推廣到一般，對於n個特征的多因素線性回歸問題的假設函數：h(x)=w₀

設定x₀=1，則假設函數為：h(x)=w₀+w₁x₁+w₂x₂+...+w_nx_n=w_0x0+w₁x₁+w₂x₂+...+w_nx_n

把W(w₀,w₁,w₂,....)，X(x₀,x₁,x₂,....)分別看成是n+1維的列向量，則W、X、W^_T(W的轉置矩陣)分別為：

，則假設函數為：

損失函數：J(w0,w1,w2,...,wn)=J(W)=Σ^m_i=1(h(x⁽ⁱ⁾)-y⁽ⁱ⁾)²/m

特征縮放

方法一：把特征值縮放到[-1,1]之間(或者差不多大小的區間)來達到更快的收斂到最小值的效果

例如：房屋面積x₁的大小在0-2000，臥室數量x₂的大小在1-5，使用特征縮放，對x₁,x₂

x₁=房屋面積/2000，0≤x₁≤1

x₂=臥室數量/5，0≤x₂≤1

縮放後會加快收斂到最小值

方法二：均值歸一化

例如：房屋面積x₁的大小在0-2000(均值為1000)，臥室數量x₂的大小在1-5(均值為2)，使用特征縮放，對x₁,x₂進行縮放處理，則：

x₁=(房屋面積-1000)/2000，-0.5≤x₁≤0.5

x₂=(臥室數量-2)/5，-0.5≤x₂≤0.5

或者

x₁=(房屋面積-1000)/(樣本最大值-樣本最小值)，-0.5≤x₁≤0.5

x₂=(臥室數量-2)/(樣本最大值-樣本最小值)，-0.5≤x₂≤0.5

學習率learning rate

1、看圖：x軸數學習次數，y軸是J(W)損失函數，通過圖形對收斂情況判斷學習率的情況

2、..., 0.001, 0.003, 0.01, 0.03, 0.1, 0.3, 1, ... 間隔3倍選擇學習率測試

線性回歸問題正規方程解法：W=(X^TX)^-1X^Ty , 其中X^T是X矩陣的轉置矩陣，(X^TX)^-1是X^TX的逆矩陣

對於線性回歸：梯度下降法和正規方程解法的區別

• 梯度下降需要選擇一個學習率，需要叠代很多次
• 正規方程不需要學習率，一次求解
• 特征數量(n)很大(百萬級)選擇梯度下降，特征數量不多(萬級或者以下)選擇用正規方程解法(時間復雜度O(n³))

5、多變量線性回歸