演算法簡介

給定資料集D={(x1,y1),(x2,y2),…,(xm,ym)},一共有m個樣本，其中每個樣本有d個屬性，即xi = (xi1,xi2,…,xid)。線性迴歸是試圖學到一個線性模型 f(x) = w1*x1+w2*x2+…+wd*xd + b以儘可能準確的預測實值輸出標記。 其中w=(w1,w2,…,wd), w和b是通過學習之後，模型得以確定。
w和b的確定是通過損失函式確定的：

用最小二乘法對w和b進行估計。把w和b吸收入向量形式，w’ = (w;b)，相應的資料集D表示為一個m*(d+1)的矩陣X，其中每一行對應一個示例，該行前d個元素對應於示例的d個屬性值，最後一個元素恆為1。則對於上面的公式有：

python實現過程

訓練得到w和b的向量：

def train_wb(X, y):
    """
    :param X:N*D的資料
    :param y:X對應的y值
    :return: 返回（w，b）的向量
    """
    if np.linalg.det(X.T * X) != 0:
        wb = ((X.T.dot(X).I).dot(X.T)).dot(y)
        return wb

獲得資料的函式，其中資料下載自

def getdata():
    x = []; y = []
    file = open("C:\\Users\\cjwbest\\Desktop\\ex0.txt", 'r')
    for line in file.readlines():
        temp = line.strip().split("\t")
        x.append([float(temp[0]),float(temp[1])])
        y.append(float(temp[2]))
    return (np.mat(x), np.mat(y).T)

畫圖函式，分別把訓練用的資料的散點圖還有迴歸直線畫出來了。

def draw(x, y, wb):

    #畫迴歸直線y = wx+b
    a = np.linspace(0, np.max(x)) #橫座標的取值範圍
    b = wb[0] + a * wb[1]
    plot(x, y, '.')
    plot(a, b)
    show()

整體程式碼如下：

#-*- coding:utf-8 -*-

import numpy as np
from pylab import *

def train_wb(X, y):
    """
    :param X:N*D的資料
    :param y:X對應的y值
    :return: 返回（w，b）的向量
    """
    if np.linalg.det(X.T * X) != 0:
        wb = ((X.T.dot(X).I).dot(X.T)).dot(y)
        return wb

def test(x, wb):
    return x.T.dot(wb)

def getdata():
    x = []; y = []
    file = open("ex0.txt", 'r')
    for line in file.readlines():
        temp = line.strip().split("\t")
        x.append([float(temp[0]),float(temp[1])])
        y.append(float(temp[2]))
    return (np.mat(x), np.mat(y).T)

def draw(x, y, wb):

    #畫迴歸直線y = wx+b
    a = np.linspace(0, np.max(x)) #橫座標的取值範圍
    b = wb[0] + a * wb[1]
    plot(x, y, '.')
    plot(a, b)
    show()

X, y = getdata()
wb = train_wb(X, y)
draw(X[:, 1], y, wb.tolist())

執行結果如圖所示：