牛頓方法

本次課程大綱：

1、  牛頓方法：對Logistic模型進行擬合

2、 指數分佈族

3、  廣義線性模型（GLM）：聯絡Logistic迴歸和最小二乘模型

複習：

Logistic迴歸：分類演算法

假設給定x以為引數的y=1和y=0的概率：

求對數似然性：

對其求偏導數，應用梯度上升方法，求得：

本次課程介紹的牛頓方法是一種比梯度上升快很多的方法，用於擬合Logistic迴歸

1、 牛頓方法

假設有函式，需要找使=0的

步驟：

1)       給出一個的初始值

2)       對求導，求導數為0時的值（就是求切線與x軸交點）

3)       重複步驟2

因為該點的導數值即為切線斜率，而斜率=

*使用這個方法需要f滿足一定條件，適用於Logistic迴歸和廣義線性模型

* 一般初始化為0

應用於Logistic迴歸：

求對數似然的最大值，即求為0時的，根據上述推論，更新規則如下：

牛頓方法的收斂速度：二次收斂

每次迭代使解的有效數字的數目加倍：假設當前誤差是0.1，一次迭代後，誤差為0.001，再一次迭代，誤差為0.0000001。該性質當解距離最優質的足夠近才會發現。

牛頓方法的一般化：

是一個向量而不是一個數字，一般化的公式為：

是目標函式的梯度，H為Hessian矩陣，規模是n*n，n為特徵的數量，它的每個元素表示一個二階導數：

上述公式的意義就是，用一個一階導數的向量乘以一個二階導數矩陣的逆

優點：若特徵數和樣本數合理，牛頓方法的迭代次數比梯度上升要少得多

缺點：每次迭代都要重新計算Hessian矩陣，如果特徵很多，則H矩陣計算代價很大

2、 指數分佈族

回顧學過的兩種演算法：

對於：

若y屬於實數，滿足高斯分佈，得到基於最小二乘法的線性迴歸；

若y取{0,1}，滿足伯努利分佈，得到Logistic迴歸。

問題：如Logistic迴歸中，為何選擇sigmoid函式？sigmoid函式是最自然的預設選擇。

接下來，會以這兩個演算法為例，說明它們都是廣義線性模型的特例。

考慮上述兩個分佈，伯努利分佈和高斯分佈：

1)       伯努利分佈

設有一組只能取0或1的資料，用伯努利隨機變數對其建模：

，則，改變引數φ，y=1這一事件就會有不同概率，會得到一類概率分佈（而非固定的）。

2)       高斯分佈

，改變引數μ，也會得到不同的高斯分佈，即一類概率分佈。

上述這些分佈都是一類分佈的特例，這類分佈稱為指數分佈族。

指數分佈族的定義：

若一類概率分佈可以寫成如下形式，那麼它就屬於指數分佈族：

η - 自然引數，通常是一個實數

T(y) – 充分統計量，通常，T(y)=y，實際上是一個概率分佈的充分統計量（統計學知識）

對於給定的a，b，T三個函式，上式定義了一個以η為引數的概率分佈集合，即改變η可以得到不同的概率分佈。

證明伯努利分佈是指數分佈族：

可知：

由上式可見，η=log(φ/(1-φ))，可解出：φ=1/(1+exp(-η))，發現得到logistic函式（之後討論其原因），則：

證明高斯分佈是指數分佈族：

，設方差為1（方差並不影響結果，僅僅是變數y的比例因子）

這種情況下高斯密度函式為：

可得：

*指數分佈族包括：

高斯分佈（正態分佈），多元正態分佈；

伯努利分佈（01問題建模），多項式分佈（對k個結果的事件建模）；

泊松分佈（對計數過程建模）；

伽馬分佈，指數分佈（對實數的間隔問題建模）；

β分佈，Dirichlet分佈（對小數建模）；

Wishart分佈（協方差矩陣的分佈）…

3、 廣義線性模型GLM

選定了一個指數分佈族後，怎樣來推匯出一個GLM呢？

假設：

（1），即假設試圖預測的變數y在給定x，以θ作為引數的條件概率，屬於以η作為自然引數的指數分佈族

例：若要統計網站點選量y，用泊松分佈建模

（2） 給定x，目標是求出以x為條件的T(y)的期望E[T(y)|x]，即讓學習演算法輸出h(x) = E[T(y)|x]

（3），即自然引數和輸入特徵x之間線性相關，關係由θ決定。僅當η是實數時才有意義。若η是一個向量，

推導伯努利分佈的GLM：

，伯努利分佈屬於指數分佈族

對給定的x，θ，學習演算法進行一次預測的輸出：

得到logistic迴歸演算法。

正則響應函式：g(η) = E[y;η]，將自然引數η和y的期望聯絡起來

正則關聯函式：g^-1

推導多項式分佈的GLM：

多項式分佈是在k個可能取值上的分佈，即y∈{1,…,k}，如將收到的郵件分成k類，診斷某病人為k種病中的一種等問題。

（1）將多項式分佈寫成指數分佈族的形式：

設多項式分佈的引數：，且，φi表示第i個取值的概率分佈，最後一個引數可以由前k-1個推匯出，所以只將前k-1個視為引數。

多項式分佈是少數幾個T(y)!=y的分佈，T(1)~T(k)都定義成一個k-1維的列向量，表示為：

這樣定義T(y)是為了將多項式分佈寫成指數分佈族形式。

*定義符號：指示函式，1{.}

1{True} = 1, 1{False} = 0，即大括號內命題為真，值為1,；否則為0。

例：1{2=3} = 0, 1{1+1=2} = 1

用T(y)i表示T(y)的第i個元素，則T(y)i = 1{y=i}

根據引數φ的意義（φi表示第i個取值的概率分佈），可推出：

可得：

證明多項式分散式指數分佈族。

再用η表示φ：

（2）根據上述假設（3）中自然引數和輸入x的線性關係，可求得：

（3）根據上述假設（2）中的輸出h(x) = E[T(y)|x]，可求得：

稱這種迴歸演算法為softmax迴歸，是logistic迴歸的推廣。

Softmax迴歸的訓練方法和logistic相似，通過極大似然估計找到引數θ，其對數似然性為：

再通過梯度上升或牛頓方法找對數似然性的最大值，即可求出引數θ。