對應於《機器學習》書中3.1與3.2節

1.基本形式

線性模型就是試圖找到一個可以進行預測的線性函式：

其中x是示例的屬性，w是權重，當d>1時的問題叫多變量回歸問題，否則叫單變量回歸問題。

線性模型的優點在於其可解釋性強，因為可以直觀表達每個屬性的重要程度。

2.線性迴歸

資料的屬性值有兩種型別：

• 連續型，比如同學的身高
• 離散型 ，比如房屋朝向

離散型按照屬性值之間是否存在“序”關係又分為有序和無序兩種，前者可將資料連續化轉為連續值，舉例如身高={高，矮}變為{1.0,0.0}。後者可將資料轉為k維向量，舉例如瓜 = {南瓜，西瓜，冬瓜}變為南瓜=(1,0,0)，西瓜 = (0,1,0)，冬瓜=(0,0,1)，也就是啞變數。

求解單變數線性迴歸問題的過程就是尋找w，b使得的過程。其中。

具體方式是使均方誤差最小化：

 其中argmin表示使函式取到最小值的自變數的集合。

求解上式的過程稱為：線性迴歸模型的最小二乘引數估計。

最小二乘法：基於均方誤差最小化進行模型求解的方法

線性迴歸中的最小二乘法：找到一條直線使樣本點到直線的歐式距離之和最小

2.1線性迴歸模型的最小二乘引數估計

設，即求使此式最小的w，b。

由於上式為凸函式，所以對式求關於w，b的偏導，導數為0即可得（w，b）。

凸函式：對區間中任意兩點x1，x2，均有，則稱函式為區間（a，b）上的凸函式

對E（w，b）求導：

令導數為0，得：

2.2 多變數線性迴歸

與單變數線性迴歸的區別是每個資料有多個屬性。

此時還是用最小二乘法，所求：

其中，，，m為資料數，d為資料的屬性數

令上式為0得到w，當為滿秩矩陣或者正定矩陣時，最終的多元線性迴歸模型：

現實生活中資料的屬性值常常多於樣例數，因此無法滿足滿秩的要求，此時得到多個滿足要求的，這裡由學習演算法的歸納偏好決定選擇哪個，常見做法為引入正則化項。

歸納偏好：機器學習演算法在學習過程中對某種型別假設的偏好，一種常用原則為奧卡姆剃刀原則。

奧卡姆剃刀原則：若有多個假設與觀察結果一致，選擇最簡單的那個

2.3 廣義線性模型

考慮單調可微函式,令：

為廣義線性模型，其中為聯絡函式

對數線性迴歸是當聯絡函式為時的特例，即，是讓一個對數函式逼近y。