1. 程式人生 > >模式識別(五)特徵生成-1

模式識別(五)特徵生成-1

Karhunen-Loveve變換

KL變換用於維數降低,維數降低可以大大降低計算量。KL變換是通過線性變換,將空間對映到另外空間,然後可以在另外空間進行維數裁剪,去掉影響較小的維,從而降低維數。

假設由x對映到y,變換為A,即有



其中R_y就是對角矩陣。然後可通過選擇對應最小特徵值的向量來作為新的維,從而降低維數。

奇異值分解

奇異值分解被廣泛用於矩陣計算,其可以提取矩陣中非零元素,降低矩陣計算量。在模式識別中被用於維數降低,奇異值分解即對於任意矩陣X,其秩為lXn,則存在酋矩陣UV


獨立成分分析(ICA

前邊的KL變換是為了得到不相關特徵,然後在此基礎上降低維數,其得到的結果是最優的。而ICA是為了得到獨立變數,這個比不相關量要求更加嚴格。計算ICA可以對PCA進行推廣,PCA是要求二次交叉累積量為0,而ICA要求所有高次交叉累積量為0.一般將運算限制在4次就夠了。

整個過程為:

通過 KL 變換計算: