1. 前言

1-1 問題：

從 D 維特徵中選擇 d<D 個特徵。

1-2 特徵選擇主要回答兩個層面的問題：

1. 對特徵的評價，即怎樣衡量一組特徵對分類的有效性；
2. 尋優的演算法，即怎樣更快地找到效能最優或比較好的特徵組合。

2. 特徵的評價準則

類別可分性準則：

2-1 基於類內類間距離的可分性判據

投影到另一空間後，類內離散度儘可能小、類間離散度儘可能大的準則來確定最佳的投影方向。

2-2 基於概率分佈的可分性判據

常見的概率距離度量

2-3 基於熵的可分性判據

主要從後驗概率角度來考慮。

2-4 利用統計檢驗作為可分性判據

特點
只能針對單個特徵對分類效能進行判據，也存在針對多變數的，但是當特徵維數較高時，往往較難實現。

3. 特徵選擇演算法

3-1 特徵選擇的最優演算法（窮舉法）

分支定界方法的基本思想：

設法將所有可能特徵選擇組合構建成一個樹狀結構，按照特定的規律對樹進行搜尋，使得搜尋過程儘可能早地可以達到最優解而不必遍歷整棵樹。

例項

從 D =6 個特徵中選 d = 2 個特徵。

• 樹的根節點包含全部特徵，稱為第 0 級，
• 每一級的節點在其父節點基礎上去掉一個特徵（去掉的特徵序號寫在節點旁邊）。
• 對於第 l 層節點 i ， 假設它包含 Di 個候選特徵，我們在同一層中按照去掉單個特徵後的準則函式對各個節點排序，如果去掉某個特徵後準則函式損失函式最大，則認為這個特徵最不可能去掉，放在該層最左側節點。
• 第 i 層節點下工生長 Di−d+1 個子節點。
• 第 l +1 層的展開沿最右側節點開始，在同層上已經在左側節點上的特徵在本節點之下不再進行捨棄，因此，第 l+1 層的一個節點上的候選基因就是它上一層的 Di 個候選特徵減去本節點上舍棄的特徵以及它同層左側節點上的特徵。
• 從每一樹枝的最右側開始向下生長，當到達葉節點時計算當前達到的準則函式值，記作界限 B 。
• 到達葉節點後演算法向上回溯，每回溯一步把相應節點上舍棄的特徵回收回來。遇到最近的分支節點停止回溯，從這個分支節點向下搜尋左側最近的一個分支。
• 如果在搜尋到某一個節點時，準則函式值已經小於界限 B，說明最優解已不可能在本節點之下的葉節點上，所以可以停止搜尋，向上回溯。
• 如果搜尋到一個新的葉節點，則更新界限 B 值，向上回溯。
• 直到不能向下搜尋其他樹枝，則演算法停止，最後一次更新 B 時取得的特徵組合就是特徵選擇的結果。

3-2 特徵選擇的次優演算法（確定性的啟發式搜尋）

最優搜尋方法的計算量可能仍然最大，因此會考慮一些計算量較小的次優搜尋方法。

3-2-1 單獨最優特徵的組合

對每一個特徵單獨計算類別可分性依據，選取最大的前 d 個特徵。

特點
只有當特徵間統計獨立和所採用的判據是每個特徵上的判據之和或之積時，才最優。

3-2-2 順序前進法（從底向上）

第一個特徵選擇單獨最優，後面的特徵選擇與之組合最優的那些特徵（一次可以一個也可以多個）。

特點
某個特徵一旦被選中則不能再被剔除。

3-2-3 順序後退法（從頂向下）

逐漸剔除不被選中的特徵。與順序前進法正好相反。

特點
某個特徵一旦被剔除則不能再被選中。

3-2-4 增 l 減 r 法

交替使用 順序前進法 和 順序後退法。

3-3 特徵選擇的遺傳演算法（隨機搜尋）

特點
遺傳演算法雖然不能保證收斂到全域性最優解，但是在多數情況下可以至少得到很好的次優解。

3-4 以分類效能為準則的特徵選擇演算法（包裹法）

把分類器和特徵選擇集合起來，利用分類器進行特徵選擇的方法稱作包裹法。

這些分類器要求滿足兩個條件
1. 分類器應該能夠處理高維的特徵向量。
2. 分類器能夠在特徵維數很高但樣本數有限時仍能得到較好的效果。

常見的兩種方法有 遞迴支援向量機（R-SVM）和支援向量機遞迴特徵剔除（SVM-RFE）。