1. 程式人生 > >Python 迴歸 普通最小二乘法(Ordinary Least Squares)

Python 迴歸 普通最小二乘法(Ordinary Least Squares)

廣義線性迴歸模型:廣義線性迴歸模型
這裡寫圖片描述作為係數向量(coef_);把這裡寫圖片描述作為截距(intercept_)
1.普通最小二乘法(Ordinary Least Squares)
線性迴歸的目的就是是的預測值與實際值的殘差平方和最小:
這裡寫圖片描述

import matplotlib.pyplot as plt
import numpy as np
#載入資料集“datasets”
from sklearn import datasets, linear_model
#獲取糖尿病的資料集
diabetes = datasets.load_diabetes()
#使用其中的一個特徵,np.newaxis的作用是增加維度
diabetes_X = diabetes.data[:, np.newaxis, 2] #將X變數資料集分割成訓練集和測試集 diabetes_X_train = diabetes_X[:-20] diabetes_X_test = diabetes_X[-20:] #將Y目標變數分割成訓練集和測試集 diabetes_y_train = diabetes.target[:-20] diabetes_y_test = diabetes.target[-20:] #建立線性迴歸物件 regr = linear_model.LinearRegression() #使用訓練資料來訓練模型 regr.fit(diabetes_X_train, diabetes_y_train) #檢視相關係數
print('Coefficients: \n', regr.coef_) #檢視殘差平方的均值(mean square error,MSE) print("Residual sum of squares: %.2f"#%是格式化 % np.mean((regr.predict(diabetes_X_test) - diabetes_y_test) ** 2)) # Explained variance score: 1 is perfect prediction # 解釋方差得分(R^2),最好的得分是1: # 係數R^2=1 - u/v, u是殘差平方,u=(y_true - y_pred) ** 2).sum()
# v是離差平方和,v=(y_true - y_true.mean()) ** 2).sum() print('Variance score: %.2f' % regr.score(diabetes_X_test, diabetes_y_test)) #畫出測試的點 plt.scatter(diabetes_X_test, diabetes_y_test, color='black') #畫出預測的點 plt.plot(diabetes_X_test, regr.predict(diabetes_X_test), color='blue', linewidth=3) #刪除X軸的標度 plt.xticks(()) #刪除Y軸的標度 plt.yticks(()) plt.show()

這裡寫圖片描述
普通最小二乘法計算複雜度
這種方法通過對X奇異值分解(singular value decomposition,SVD)來計算最小二乘的解,如果X是(n,p)的矩陣(n大於p),則代價為這裡寫圖片描述