Linear Discriminant Analysis(LDA線性判別分析)

　　用途：數據預處理中的降維，分類任務

　　目標：LDA關心的是能夠最大化類間區分度的坐標軸成分，將特征空間（數據集中的多維樣本）投影到一個維度更小的k維子空間中，同時保持區分類別的信息。

　　原理：投影到維度更低的空間中，使得投影後的點，會形成按類別區分，一簇一簇的情況，相同類別的點，將會在投影後的空間中更接近方法

　　監督性：LDA是“有監督”的，它計算的是另一類特定的方向

　　投影：找到更合適分類的空間

　　與PCA不同，更關心分類而不是方差

數學原理

　　原始數據　　　　　　　　　　　　變換數據

　　目標：找到該投影

　　LDA分類的一個目標是使得不同類別之間的距離越遠越好，同一類別之中的距離越近越好

　　每類樣例的均值

　　投影後的均值

　　投影後的兩類樣本中心點盡量分離

　　X1的方向可以最大化J(w)，但是卻分的不好

　　散列值：樣本點的密集程度，值越大，越分散，反之，越集中

　　同類之間應該越密集些：

　　目標函數：

　　散列值公式展開：

　　散列矩陣（scatter matrices）

　　類內散步矩陣

　　目標函數分子展開：

　　S_B稱作類間散布矩陣

　　最終目標函數：

　　分母進行歸一化：如果分子、分母是都可以取任意值的，那就會使得有無窮解，我們將分母限制為長度為1

　　拉格朗日乘子法：

　　兩邊都乘以Sw的逆：

線性判別分析（Linear Discriminant Analysis-LDA）