又好像很久更新了，但這幾天我都有在學習哦~。一位同學和我說感覺我的筆記很多是對書本原文的再現，缺少自己的思考和重點提煉。我反思了一下好像真的是這樣的呢，這樣子寫似乎的確是和原文沒有多大的區別（而且敲那麼多字非常的累）。
所以從這篇筆記開始我會挑選書中的重點來記錄啦，對於個別比較難理解的公式也會單獨拿出來推導，不再把時間花在重複勞動上。
在寫文章方面我只是一個小白，希望大家多多包涵。

3.1基本形式

對於一個物體，線性模型通過學得各個屬性的線性組合來對其進行預測：
$f$

( x ) = w 1 x 1

+ w 2 x 2 + w 3

x 3 + . . . + w d x d + b f\left ( x \right )=w_{1}x_{1}+w_{2}x_{2}+w_{3}x_{3}+...+w_{d}x_{d}+b
上式可以用向量形式 $f\left ( x \right )=w^{T}x+b$來進行簡單表示。

當我們學習得到 $w=\left ( w_{1}; w_{2}; w_{3}...; w_{d};\right )$和 $b$之後便可以將模型確定下來。

• 線性模型的應用範圍比較有限，但我們可以在這幾個基礎上通過層級結構或高維對映得到功能更為強大的非線性模型。
• 線上性模型中， $w$直觀表達了各屬性在預測中的重要性，因此線性模型有很好的可解釋性(comprehensibility) 。

3.2 線性迴歸

我們可以使用"線性迴歸" (linear regression)來學得一個模型從而對預測值做出準確的預測輸出標記。

線上性迴歸中，我們試圖學得： $f\left ( x \right )=w^{T}x+b\cong y_{i}$。在這裡我們用均方誤差來進行效能度量，直接讓均方誤差最小化便可求得結果。即：

我們求解 $w$和 $b$讓 $E_{\left ( w,b \right )}=\sum_{i=1}^{m}\left ( y_{i}-wx_{i}-b \right )^{2}$實現最小值，這個過程可以通過對 $w$和 $b$求導來實現：

讓兩者分別為0便可以求得 $w$和 $b$的最優解：

對於有多個屬性的情況，我們可以用多元線性迴歸來實現問題的求解，將資料集用一個矩陣X來進行表示：

資料集的標記我們也可以用向量形式 $y=\left ( y_{1}; y_{2};...;y_{m};\right )$來表示，從而可以得到和單屬性相似的結果：

在上文部分，我們實現了單屬性和多屬性的線性迴歸推導，但在我們的實際生活中，線性迴歸的應用場景並不是那麼常見，我們可以通過加一層對映來實現對y“衍生物”的逼近。

如 $x$到 $y$的實際對映為指數函式，我們令 $y^{`}=lny$,那麼x到 $y^{`}$的對映就變成了線性函式，我們可以繼續用剛才講過的那一部分知識來分析問題。得到 $lny=w^{T}x+b$。

上式形式上仍然是線性迴歸，但是在實質上已經是在求解輸入空間到輸出空間的非線性函式對映。這裡的對數函式起到了將線性迴歸模型的預測值和真實標記聯絡起來的作用。

更一般的，我們通過引入單調可微函式g(`)得到廣義線性模型：
$y=g^{-1}\left ( w^{T}x+b \right )$

3.3對數機率迴歸

這裡我們首先要注意的是對數機率迴歸是用於處理分類問題嗎，不是迴歸問題。

我們通過一個單調可微函式將分類任務的真實標記 $y$與線性迴歸模型的預測值聯絡起來。

因為單位階躍函式不連續，所以我們用對數機率函式來進行替代：
$y=\frac{1}{1+e^{-z}}$,將對數機率函式作為我們之前提出的可微函式g(·)，得：
$y=\frac{1}{1+e^{-\left ( w^{T}x+b \right )}}$
上式可以推導為： $ln\frac{y}{1-y}=w^{T}+b$。

其中我們把 $y$看做是正例的可能性， $1-y$看成是反例的可能性，則=兩者的比值 $\frac{y}{1-y}$稱為機率，反映了 $x$作為正例的相對可能性對機率取對數則得到"對數機率": $ln\frac{y}{1-y}$

接下來，我們就可以用“極大似然法”來對 $w$和

相關推薦