1.特徵提取 V.S 特徵選擇

特徵提取和特徵選擇是DimensionalityReduction（降維）的兩種方法，針對於the curse of dimensionality(維災難)，都可以達到降維的目的。但是這兩個有所不同。

特徵提取（Feature Extraction）:Creatting a subset of new features by combinations of the exsiting features.也就是說，特徵抽取後的新特徵是原來特徵的一個對映。

特徵選擇（Feature Selection）:choosing a subset of all the features(the ones more informative)。也就是說，特徵選擇後的特徵是原來特徵的一個子集。

2. PCA V.S LDA

主成分分析(Principle Components Analysis ,PCA)和線性評判分析（Linear Discriminant Analysis,LDA）是特徵提取的兩種主要經典方法。

對於特徵提取，有兩種類別：

（1）Signal representation(訊號表示): The goal of the feature extraction mapping is to represent the samples accurately in a low-dimensional space. 也就是說，特徵抽取後的特徵要能夠精確地表示樣本資訊，使得資訊丟失很小。對應的方法是PCA.

（2）Signal classification（訊號分類): The goal of the feature extraction mapping is toenhance the class-discriminatory information in a low-dimensional space. 也就是說，特徵抽取後的特徵，要使得分類後的準確率很高，不能比原來特徵進行分類的準確率低。對與線性來說，對應的方法是LDA . 非線性這裡暫時不考慮。

可見， PCA和LDA兩種方法的目標不一樣，因此導致他們的方法也不一樣。PCA得到的投影空間是協方差矩陣的特徵向量，而LDA則是通過求得一個變換W,使得變換之後的新均值之差最大、方差最大（也就是最大化類間距離和最小化類內距離），變換W就是特徵的投影方向。