Python 迴歸 普通最小二乘法(Ordinary Least Squares)
阿新 • • 發佈:2019-01-05
廣義線性迴歸模型:
把作為係數向量(coef_);把作為截距(intercept_)
1.普通最小二乘法(Ordinary Least Squares)
線性迴歸的目的就是是的預測值與實際值的殘差平方和最小:
import matplotlib.pyplot as plt
import numpy as np
#載入資料集“datasets”
from sklearn import datasets, linear_model
#獲取糖尿病的資料集
diabetes = datasets.load_diabetes()
#使用其中的一個特徵,np.newaxis的作用是增加維度
diabetes_X = diabetes.data[:, np.newaxis, 2]
#將X變數資料集分割成訓練集和測試集
diabetes_X_train = diabetes_X[:-20]
diabetes_X_test = diabetes_X[-20:]
#將Y目標變數分割成訓練集和測試集
diabetes_y_train = diabetes.target[:-20]
diabetes_y_test = diabetes.target[-20:]
#建立線性迴歸物件
regr = linear_model.LinearRegression()
#使用訓練資料來訓練模型
regr.fit(diabetes_X_train, diabetes_y_train)
#檢視相關係數
print('Coefficients: \n', regr.coef_)
#檢視殘差平方的均值(mean square error,MSE)
print("Residual sum of squares: %.2f"#%是格式化
% np.mean((regr.predict(diabetes_X_test) - diabetes_y_test) ** 2))
# Explained variance score: 1 is perfect prediction
# 解釋方差得分(R^2),最好的得分是1:
# 係數R^2=1 - u/v, u是殘差平方,u=(y_true - y_pred) ** 2).sum()
# v是離差平方和,v=(y_true - y_true.mean()) ** 2).sum()
print('Variance score: %.2f' % regr.score(diabetes_X_test, diabetes_y_test))
#畫出測試的點
plt.scatter(diabetes_X_test, diabetes_y_test, color='black')
#畫出預測的點
plt.plot(diabetes_X_test, regr.predict(diabetes_X_test), color='blue',
linewidth=3)
#刪除X軸的標度
plt.xticks(())
#刪除Y軸的標度
plt.yticks(())
plt.show()
普通最小二乘法計算複雜度
這種方法通過對X奇異值分解(singular value decomposition,SVD)來計算最小二乘的解,如果X是(n,p)的矩陣(n大於p),則代價為