好久沒更新部落格了，今天想寫一下我對主成分分析（Principal components analysis）的理解。最開始接觸到主成分分析（PCA for short）是在有關高光譜影象分類的論文中，PCA是作為對照方法凸顯文中所提出的方法的優越性的。（感覺PCA好慘......）這同樣也說明了，PCA應該是一個很經典，應用面很廣的方法，並且效能也很好~~~正所謂木秀於林，風必摧之；PCA在我看的那幾篇論文中總是作為陪襯，在這裡我要為它正名~~~~（臥槽，正義屬性滿滿啊）。廢話少說，下面是正題。

        在正式介紹PCA之前，我們先來想像一些平時在訓練演算法的過程中所遇到的情況。這裡的情況是指資料的情況。

        1、 比如拿到一個汽車的樣本，裡面既有以“千米/每小時”度量的最大速度特徵，也有“英里/小時”的最大速度特徵，顯然這兩個特徵有一個多餘。 

        2、 拿到一個數學系的本科生期末考試成績單，裡面有三列，一列是對數學的興趣程度，一列是複習時間，還有一列是考試成績。我們知道要學好數學，需要有濃厚的興趣，所以第三項與第一項強相關，第三項和第二項也是強相關。那是不是可以合併第一項和第二項呢？

        3、 拿到一個樣本，特徵非常多，而樣例特別少，這樣用迴歸去直接擬合非常困難，容易過度擬合。比如北京的房價：假設房子的特徵是（大小、位置、朝向、是否學區房、建造年代、是否二手、層數、所在層數），搞了這麼多特徵，結果只有不到十個房子的樣例。要擬合房子特徵->房價的這麼多特徵，就會造成過度擬合。

        4、 這個與第二個有點類似，假設在IR中我們建立的文件-詞項矩陣中，有兩個詞項為“learn”和“study”，在傳統的向量空間模型中，認為兩者獨立。然而從語義的角度來講，兩者是相似的，而且兩者出現頻率也類似，是不是可以合成為一個特徵呢？

        在上面的例子中，我們可以看到有很多資料的特徵是冗餘的，它們之間是有聯絡的。那我們就可以利用這些特徵之間的內在聯絡來減少特徵的維數，降低過擬合的風險。

        咳咳，上面的大神舉得例子確實很精闢，那下面我也用高光譜這個task進行一下說明（裝逼模式已開啟，前方高能預警，非戰鬥人員立即撤離！！！）：在高光譜影象分類領域主要是有兩個關鍵點，一是由於高光譜圖象是採集了幾百個通道（也就是波段）的光譜資訊，這就造成了單一畫素點特徵維數過高；二是標記樣本成本太高，所以只能藉助極少量的標記樣本來完成分類任務。在這裡，我們只關心第一點。

        下面我們來正式介紹主成分分析（PCA），它可以解決部分上述問題哦~~~PCA的思想是將n維特徵對映到k維上（n>k），這k維是全新的正交特徵。這k維特徵稱為主元，是重新構造出來的k維特徵，而不是簡單地從n維特徵中去除其餘n-k維特徵所得到的特徵。也就是說，在原來的n維特徵中，是不存在我們後面用的k維特徵的。

        下面我們說一說PCA的計算過程，不得不說，第一次見到這個過程，感覺真是不一般的怪異...(這裡以二維特徵為例，資料集為Andrew Ng的q1x.dat)

        第一步，分別求x和y的平均值，然後對於所有的樣例，都減去對應的均值。

        第二步，求特徵協方差矩陣，若特徵為三維，則協方差矩陣為：

        ，這裡特徵為二維，協方差矩陣為：。其中。

        第三步，求協方差的特徵值和特徵向量。

        第四步，將特徵值按照從大到小的順序排序，選擇其中最大的k個，然後將其對應的k個特徵向量分別作為列向量組成特徵向量矩陣。

        第五步，將樣本點投影到選取的特徵向量上。假設樣例數為m，特徵數為n，減去均值後的樣本矩陣為DataAdjust(m*n)，協方差矩陣是n*n，選取的k個特徵向量組成的矩陣為EigenVectors(n*k)。那麼投影后的資料FinalData為

        這樣，就將原始樣例的n維特徵變成了k維，這k維就是原始特徵在k維上的投影。上面得到的資料可以認為是learn和study特徵融合為一個新的特徵叫做LS特徵，該特徵基本上代表了這兩個特徵。

        下面是實驗結果，我用的是Andrew Ng的資料集q1x.dat，共有99個數據，每個資料有兩個特徵。序號1-50的資料為型別1（類標籤為0）；序號為51-99的資料為型別2（類標籤為1）。將降維之後的特徵用散點圖表示出來，如下所示：

可以發現，資料可以被明顯的分為兩類。下面附上原始碼（matlab）：

function PCA
load q1x.dat;
mean1=sum(q1x(:,1))/99;
mean2=sum(q1x(:,2))/99;
qq=ones(99,2);
sum1=0;
qq(:,1)=q1x(:,1)-mean1;
qq(:,2)=q1x(:,2)-mean2;%分別求x和y的平均值，然後對於所有的樣例，都減去對應的均值。
cov1=sum(power(qq(:,1),2))/98;
cov4=sum(power(qq(:,2),2))/98;
for i=1:99
    sum1=qq(i,1)*qq(i,2)+sum1;
end
cov2=sum1/98;
covx=[cov1 cov2;cov2 cov4];%求特徵協方差矩陣
[V,D]=eig(covx)%求協方差的特徵值和特徵向量