相關筆記：

吳恩達機器學習筆記（一） —— 線性回歸

吳恩達機器學習筆記（三） —— Regularization正則化

主要內容：

一.線性回歸之普通最小二乘法

二.局部加權線性回歸

三.嶺回歸

四.前向逐步回歸

一.線性回歸之普通最小二乘法

1.參數的值：（不帶正則項）

2.Python代碼：

def standRegres(xArr, yArr):    #普通最小二乘法（沒有特征歸一化），其實就是不帶正則項的最小二乘法
    xMat = mat(xArr); yMat = mat(yArr).T
    xTx = xMat.T * xMat
    if
 
 linalg.det(xTx) == 0.0:      #如果方陣XTX的行列式為0，則不存在逆矩陣，所以結果不可求。
        print "This matrix is singular, cannot do inverse"
        return
    ws = xTx.I * (xMat.T * yMat)    #求出權值w，即參數
    return ws

二.局部加權線性回歸

三.嶺回歸

四.前向逐步回歸

《機器學習實戰》學習筆記第八章 —— 線性回歸