線性不可分 itl 專註 out center forest 測試 重要 原因

KPCA，中文名稱”核主成分分析“，是對PCA算法的非線性擴展，言外之意，PCA是線性的，其對於非線性數據往往顯得無能為力，例如，不同人之間的人臉圖像，肯定存在非線性關系，自己做的基於ORL數據集的實驗，PCA能夠達到的識別率只有88%，而同樣是無監督學習的KPCA算法，能夠輕松的達到93%左右的識別率（雖然這二者的主要目的是降維，而不是分類，但也可以用於分類），這其中很大一部分原因是，KPCA能夠挖掘到數據集中蘊含的非線性信息。

今天突然心血來潮，想重新推導一下KPCA的公式，期間遇到了幾個小問題，上博客查閱，發現目前並沒有一個專註於KPCA公式推導的文章，於是決定寫一篇這樣的博客（轉載請註明：http://blog.csdn.NET/wsj998689aa/article/details/40398777）。

1. 理論部分

KPCA的公式推導和PCA十分相似，只是存在兩點創新：

1. 為了更好地處理非線性數據，引入非線性映射函數，將原空間中的數據映射到高維空間，註意，這個是隱性的，我們不知道，也不需要知道它的具體形式是啥。

2. 引入了一個定理：空間中的任一向量（哪怕是基向量），都可以由該空間中的所有樣本線性表示，這點對KPCA很重要，我想大概當時那個大牛想出KPCA的時候，這點就是它最大的靈感吧。話說這和”稀疏“的思想比較像。

假設中心化後的樣本集合X（d*N，N個樣本，維數d維，樣本”按列排列“），現將X映射到高維空間，得到，假設在這個高維空間中，本來在原空間中線性不可分的樣本現在線性可分了，然後呢？想啥呢！果斷上PCA啊！~

於是乎！假設D（D >> d）維向量為高維空間中的特征向量，為對應的特征值，高維空間中的PCA如下：

（1）

和PCA太像了吧？這個時候，在利用剛才的定理，將特征向量利用樣本集合線性表示，如下：

（2）

然後，在把代入上上公式，得到如下的形式：

（3）

進一步，等式兩邊同時左乘，得到如下公式：

（4）

你可能會問，這個有啥用？

這樣做的目的是，構造兩個出來，進一步用核矩陣K（為對稱矩陣）替代，其中：

（5）

第二個等號，是源於核函數的性質，核函數比較多，有如下幾種：

於是，公式進一步變為如下形式：

（6）

兩邊同時去除K，得到了PCA相似度極高的求解公式：

（7）

求解公式的含義就是求K最大的幾個特征值所對應的特征向量，由於K為對稱矩陣，所得的解向量彼此之間肯定是正交的。

但是，請註意，這裏的只是K的特征向量，但是其不是高維空間中的特征向量，回看公式（2），高維空間中的特征向量w應該是由進一步求出。

這時有的朋友可能會問，這個時候，如果給定一個測試樣本，應該如何降維，如何測試？

是這樣的，既然我們可以得到高維空間的一組基，這組基可以構成高維空間的一個子空間，我們的目的就是得到測試樣本在這個子空間中的線性表示，也就是降維之後的向量。具體如下：

（8）

於是呼~就可以對降維了，然後就做你想要做的事情。。。。

2. 實驗部分

做了一些仿真實驗，分別比較了PCA與KPCA之間的效果，KPCA基於不同核函數的效果，二者對於原始數據的要求，以及效果隨著參數變化的規律。

1）下面展示的是“無重疊的”非線性可分數據下，PCA與KPCA（基於高斯核）的區別，註意，原始數據是二維數據，投影之後也是二維數據

2）下面展示的是“部分重疊的”非線性可分數據下，PCA與KPCA的區別

3）下面展示的是“無高斯擾動的”非線性可分數據下，PCA與KPCA的區別

4）下面展示的是上述三類數據下，基於多項式核函數的KPCA效果

5）下面展示的是在“部分重疊的”非線性可分數據下，基於多項式核函數的KPCA在不同多項式參數下的效果圖

3. 實驗結論

1. 從2.1中我們可以看出，PCA與KPCA對於非線性數據各自的處理能力，仔細觀察PCA其實只對原始數據進行了旋轉操作，這是由於其尋找的是數據的“主要分布方向”。KPCA可以將原始數據投影至線性可分情況，其原因就是第一部分所說的內容。 2. 至於為何將數據分為“無重疊”，“部分重疊”，“無高斯擾動”，是自己在試驗中發現，對於部分重疊的數據，KPCA不能將數據投影至完全線性可分的程度（2.3第三幅圖中，不同類別數據仍舊存在重疊現象），這說明KPCA只是個無監督的降維算法，它不管樣本的類別屬性，只是降維而已。 3. 這裏提供了高斯核與多項式核的效果，我們很容易發現，二者的效果有很大不同，這直觀地說明不同核函數具有不同的特質。並且，針對於無高斯擾動數據，始終沒有找到參數p，有可能針對這類數據，多項式核函數無能為力。 4. 2.5中展示了多項式核的參數影響，我們可以發現，往往p值是偶數時，數據可以做到近似線性可分，p是奇數時，數據分布的形態也屬於另外一種固定模式，但是不再是線性可分。

4. 代碼

前面給出了自己對KPCA的理論解釋，以及做的一些基礎實驗，不給出實現代碼，就不厚道了，代碼如下所示，一部分是KPCA算法代碼，另一部分是實驗代碼。

 1 function [eigenvalue, eigenvectors, project_invectors] = kpca(x, sigma, cls, target_dim)  
 2     % kpca進行數據提取的函數  
 3     psize=size(x);  
 4     m=psize(1);     % 樣本數  
 5     n=psize(2);     % 樣本維數  
 6   
 7   
 8     % 計算核矩陣k  
 9     l=ones(m,m);  
10     for i=1:m  
11         for j=1:m  
12            k(i,j)=kernel(x(i,:),x(j,:),cls,sigma);   
13         end  
14     end  
15   
16   
17     % 計算中心化後的核矩陣  
18     kl=k-l*k/m-k*l/m+l*k*l/(m*m);    
19   
20   
21     % 計算特征值與特征向量  
22     [v,e] = eig(kl);   
23     e = diag(e);  
24   
25   
26     % 篩選特征值與特征向量  
27     [dump, index] = sort(e, ‘descend‘);  
28     e = e(index);  
29     v = v(:, index);  
30     rank = 0;  
31     for i = 1 : size(v, 2)  
32         if e(i) < 1e-6  
33             break;  
34         else  
35             v(:, i) = v(:, i) ./ sqrt(e(i));  
36         end  
37         rank = rank + 1;  
38     end  
39     eigenvectors = v(:, 1 : target_dim);  
40     eigenvalue = e(1 : target_dim);  
41   
42   
43     % 投影  
44     project_invectors = kl*eigenvectors;   %計算在特征空間向量上的投影   
45 end  

function [eigenvalue, eigenvectors, project_invectors] = kpca(x, sigma, cls, target_dim)  
    % kpca進行數據提取的函數  
    psize=size(x);  
    m=psize(1);     % 樣本數  
    n=psize(2);     % 樣本維數  
  
  
    % 計算核矩陣k  
    l=ones(m,m);  
    for i=1:m  
        for j=1:m  
           k(i,j)=kernel(x(i,:),x(j,:),cls,sigma);   
        end  
    end  
  
  
    % 計算中心化後的核矩陣  
    kl=k-l*k/m-k*l/m+l*k*l/(m*m);    
  
  
    % 計算特征值與特征向量  
    [v,e] = eig(kl);   
    e = diag(e);  
  
  
    % 篩選特征值與特征向量  
    [dump, index] = sort(e, ‘descend‘);  
    e = e(index);  
    v = v(:, index);  
    rank = 0;  
    for i = 1 : size(v, 2)  
        if e(i) < 1e-6  
            break;  
        else  
            v(:, i) = v(:, i) ./ sqrt(e(i));  
        end  
        rank = rank + 1;  
    end  
    eigenvectors = v(:, 1 : target_dim);  
    eigenvalue = e(1 : target_dim);  
  
  
    % 投影  
    project_invectors = kl*eigenvectors;   %計算在特征空間向量上的投影   
end  

5. 總結

KPCA的算法雖然簡單，但是個人認為，它的意義更在於一種思想：將數據隱式映射到高維線性可分空間，利用核函數進行處理，無需知道映射函數的具體形式。這種思想實在是太牛了，它讓降維變得更有意義。為這種思想點贊！！！ 轉自： http://blog.csdn.net/wsj998689aa/article/details/40398777 作者：迷霧forest

解釋一下核主成分分析(Kernel Principal Component Analysis, KPCA)的公式推導過程（轉載）