線性判別分析LDA（Linear Discriminant Analysis）

大家熟知的PCA演算法是一種無監督的降維演算法，其在工作過程中沒有將類別標籤考慮進去。當我們想在對原始資料降維後的一些最佳特徵（與類標籤關係最密切的，即與y相關），這個時候，基於Fisher準則的線性判別分析LDA就能派上用場了。注意，LDA是一種有監督的演算法。

給定特徵為d維的N個樣例x(i){x(i)1,x(i)2,⋯,x(i)d}，其中有N1個樣例屬於類別ω1，N2個樣例屬於類別ω2。

現在我們想將d維特徵降到只有一維，而又要保證類別能夠“清晰”地反映在低維資料上，也就是這一維就能決定每個樣例的類別。這裡的降維可以通過將樣本點投影到一個低維平面上來實現。在這裡為了簡單起見，我們設樣例為二維的，也就是d

=2,並將其投影到一條方向為w的直線上去，這樣就將2維的特徵降到了1維。

樣例x到從原點出發方向為w的直線上的投影可以用下式來計算：y=wTx。注意，這裡的y不是標籤值，而是x投影到直線上的點到原點的距離。

我們的目的是尋找一條從原點出發方向為 $w$ 的直線，可以將投影后的樣例點很好的分離，大概如下圖所示：

從直觀上來講，第二條直線看起來還不錯，可以很好地將兩類樣例分離，那這條直線是不是我們所要找的最佳的直線呢？要回答這個問題，我們就要從定量的角度來確定最佳的投影直線，即直線的方向向量w。

首先求每類樣例的均值（中心點）：μi=1Ni∑x∈wix

那麼投影后的每類樣例的均值（中心點）為：μ

i~=1Ni∑y∈wiy=1Ni∑x∈wiwTx=wTμi

從上面兩條公式可以看出，投影后的中心點就是中心點的投影。

從上面兩張圖可以看出，能夠使投影后的兩類樣本中心點儘量分離的直線是好的直線，定量表示就是：maxwJ(w)=|μ1~−μ2~|=|wTμ1−wTμ2|。但是僅僅考慮J(w)是不行的，如下圖所示：

儘管在x1軸上取得了中心點投影的最大間距，但是由於重疊嚴重，反而不能很好的分離兩類樣本點。中心點投影在x2軸上的間距雖然很小，但是卻能夠取得比x1軸更好的分離效果。這是為什麼呢？

LDA是基於Fisher準則的演算法，其必須同時遵從類內密集，類間分離這兩個條件。中心點投影間距最大化只是滿足類間分離

而沒有考慮類內密集，所以為了獲得最佳的投影方向 w，我們還要將同一類樣例的類內密集度做為一個約束，在這裡，我們採用雜湊值（scatter）作為密集度的一個度量。

每個類別的雜湊值定義如下：si~2=∑y∈wi(y−μi~)2，可以看出，雜湊值與方差較為接近，類內越密集，雜湊值越小；類內越分散，雜湊值越大。

有了雜湊值，我們得以滿足Fisher準則的類內密集的要求，結合最大化中心點的投影間距，我們可以提出最終的度量公式：maxwJ(w)=|μ1~−μ2~|2s1~2+s2~2。

將雜湊值的公式展開可得：

si~2=∑y∈wi(y−μi~)