《模型選擇和規則化》談到的特徵選擇的問題，就是要剔除的特徵主要是和類標籤無關的特徵。比如“學生的名字”就和他的“成績”無關，使用的是互資訊的方法。

       而這裡的特徵很多是和類標籤有關的，但裡面存在噪聲或者冗餘。在這種情況下，需要一種特徵降維的方法來減少特徵數，減少噪音和冗餘，減少過度擬合的可能性。

        PCA的思想是將n維特徵對映到k維上（k<n），這k維是全新的正交特徵。這k維特徵稱為主元，是重新構造出來的k維特徵，而不是簡單地從n維特徵中去除其餘n-k維特徵。

         ＰＣＡ計算過程：

　　  假設我們得到的2維資料如下：

  　　行代表了樣例，列代表特徵，這裡有10個樣例，每個樣例兩個特徵。可以這樣認為，有10篇文件，x是10篇文件中“learn”出現的TF-IDF，y是10篇文件中“study”出現的TF-IDF。

     第二步，求特徵協方差矩陣，如果資料是3維，那麼協方差矩陣是

     這裡只有x和y，求解得

     對角線上分別是x和y的方差，非對角線上是協方差。協方差是衡量兩個變數同時變化的變化程度。協方差大於0表示x和y若一個增，另一個也增；小於0表示一個增，一個減。如果ｘ和ｙ是統計獨立的，那麼二者之間的協方差就是０；但是協方差是０，並不能說明ｘ和ｙ是獨立的。協方差絕對值越大，兩者對彼此的影響越大，反之越小。協方差是沒有單位的量，因此，如果同樣的兩個變數所採用的量綱發生變化，它們的協方差也會產生樹枝上的變化。

　　   第三步，求協方差的特徵值和特徵向量，得到

     上面是兩個特徵值，下面是對應的特徵向量，特徵值0.0490833989對應特徵向量為，這裡的特徵向量都歸一化為單位向量。

    第四步，將特徵值按照從大到小的順序排序，選擇其中最大的k個，然後將其對應的k個特徵向量分別作為列向量組成特徵向量矩陣。

     這裡特徵值只有兩個，我們選擇其中最大的那個，這裡是1.28402771，對應的特徵向量是。

     第五步，將樣本點投影到選取的特徵向量上。假設樣例數為m，特徵數為n，減去均值後的樣本矩陣為DataAdjust(m*n)，協方差矩陣是n*n，選取的k個特徵向量組成的矩陣為EigenVectors(n*k)。那麼投影后的資料FinalData為

     這裡是

     FinalData(10*1) = DataAdjust(10*2矩陣)×特徵向量

     得到結果是

     這樣，就將原始樣例的n維特徵變成了k維，這k維就是原始特徵在k維上的投影。

     上面的資料可以認為是learn和study特徵融合為一個新的特徵叫做LS特徵，該特徵基本上代表了這兩個特徵。

　　  上述過程有個圖描述：

     正號表示預處理後的樣本點，斜著的兩條線就分別是正交的特徵向量（由於協方差矩陣是對稱的，因此其特徵向量正交），最後一步的矩陣乘法就是將原始樣本點分別往特徵向量對應的軸上做投影。

     如果取的k=2，那麼結果是

     這就是經過PCA處理後的樣本資料，水平軸（上面舉例為LS特徵）基本上可以代表全部樣本點。整個過程看起來就像將座標系做了旋轉，當然二維可以圖形化表示，高維就不行了。上面的如果k=1，那麼只會留下這裡的水平軸，軸上是所有點在該軸的投影。

     這樣PCA的過程基本結束。在第一步減均值之後，其實應該還有一步對特徵做方差歸一化。比如一個特徵是汽車速度（0到100），一個是汽車的座位數（2到6），顯然第二個的方差比第一個小。因此，如果樣本特徵中存在這種情況，那麼在第一步之後，求每個特徵的標準差，然後對每個樣例在該特徵下的資料除以。

     歸納一下，使用我們之前熟悉的表示方法，在求協方差之前的步驟是：

     其中是樣例，共m個，每個樣例n個特徵，也就是說是n維向量。是第i個樣例的第j個特徵。是樣例均值。是第j個特徵的標準差。

     整個PCA過程貌似及其簡單，就是求協方差的特徵值和特徵向量，然後做資料轉換。但是有沒有覺得很神奇，為什麼求協方差的特徵向量就是最理想的k維向量？其背後隱藏的意義是什麼？整個PCA的意義是什麼？

 PCA理論基礎

     要解釋為什麼協方差矩陣的特徵向量就是k維理想特徵，我看到的有三個理論：分別是最大方差理論、最小錯誤理論和座標軸相關度理論。這裡簡單探討前兩種，最後一種在討論PCA意義時簡單概述。

 最大方差理論

     在訊號處理中認為訊號具有較大的方差，噪聲有較小的方差，信噪比就是訊號與噪聲的方差比，越大越好。如前面的圖，樣本在橫軸上的投影方差較大，在縱軸上的投影方差較小，那麼認為縱軸上的投影是由噪聲引起的。

因此我們認為，最好的k維特徵是將n維樣本點轉換為k維後，每一維上的樣本方差都很大。

     比如下圖有5個樣本點：（已經做過預處理，均值為0，特徵方差歸一）

     下面將樣本投影到某一維上，這裡用一條過原點的直線表示（前處理的過程實質是將原點移到樣本點的中心點）。

     假設我們選擇兩條不同的直線做投影，那麼左右兩條中哪個好呢？根據我們之前的方差最大化理論，左邊的好，因為投影后的樣本點之間方差最大。

     這裡先解釋一下投影的概念：

     紅色點表示樣例，藍色點表示在u上的投影，u是直線的斜率也是直線的方向向量，而且是單位向量。藍色點是在u上的投影點，離原點的距離是（即或者）由於這些樣本點（樣例）的每一維特徵均值都為0，因此投影到u上的樣本點（只有一個到原點的距離值）的均值仍然是0。

     回到上面左右圖中的左圖，我們要求的是最佳的u，使得投影后的樣本點方差最大。

     由於投影后均值為0，因此方差為：

     中間那部分很熟悉啊，不就是樣本特徵的協方差矩陣麼（的均值為0，一般協方差矩陣都除以m-1，這裡用m）。

     用來表示，表示，那麼上式寫作

     由於u是單位向量，即，上式兩邊都左乘u得，

     即

     We got it！(投影后樣本點的方差)就是的特徵值，u是特徵向量。最佳的投影直線是特徵值最大時（是投影方差，就是使方差最大）對應的特徵向量，其次是第二大對應的特徵向量，依次類推。

     因此，我們只需要對協方差矩陣進行特徵值分解，得到的前k大特徵值對應的特徵向量就是最佳的k維新特徵，而且這k維新特徵是正交的。得到前k個u以後，樣例通過以下變換可以得到新的樣本。

     其中的第j維就是在上的投影。

     通過選取最大的k個u，使得方差較小的特徵（如噪聲）被丟棄。

最小平方誤差理論：

     假設有這樣的二維樣本點（紅色點），回顧我們前面探討的是求一條直線，使得樣本點投影到直線上的點的方差最大。本質是求直線，那麼度量直線求的好不好，不僅僅只有方差最大化的方法。再回想我們最開始學習的線性迴歸等，目的也是求一個線性函式使得直線能夠最佳擬合樣本點，那麼我們能不能認為最佳的直線就是迴歸後的直線呢？迴歸時我們的最小二乘法度量的是樣本點到直線的座標軸距離。比如這個問題中，特徵是x，類標籤是y。迴歸時最小二乘法度量的是距離d。如果使用迴歸方法來度量最佳直線，那麼就是直接在原始樣本上做迴歸了，跟特徵選擇就沒什麼關係了。

     因此，我們打算選用另外一種評價直線好壞的方法，使用點到直線的距離d’來度量。

     現在有n個樣本點，每個樣本點為m維（這節內容中使用的符號與上面的不太一致，需要重新理解符號的意義）。將樣本點在直線上的投影記為，那麼我們就是要最小化

     這個公式稱作最小平方誤差（Least Squared Error）。

     而確定一條直線，一般只需要確定一個點，並且確定方向即可。

     第一步確定點：

     假設要在空間中找一點來代表這n個樣本點，“代表”這個詞不是量化的，因此要量化的話，我們就是要找一個m維的點，使得

     最小。其中是平方錯誤評價函式（squared-error criterion function），假設m為n個樣本點的均值：

     那麼平方錯誤可以寫作：

     後項與無關，看做常量，而，因此最小化時，

是樣本點均值。

     第二步確定方向：

     我們從拉出要求的直線（這條直線要過點m），假設直線的方向是單位向量e。那麼直線上任意一點，比如就可以用點m和e來表示

     其中是到點m的距離。

     我們重新定義最小平方誤差：

     這裡的k只是相當於i。就是最小平方誤差函式，其中的未知引數是和e。

     實際上是求的最小值。首先將上式展開：

     我們首先固定e，將其看做是常量，，然後對進行求導，得

     這個結果意思是說，如果知道了e，那麼將與e做內積，就可以知道了在e上的投影離m的長度距離，不過這個結果不用求都知道。

     然後是固定，對e求偏導數，我們先將公式（8）代入，得

     其中 與協方差矩陣類似，只是缺少個分母n-1，我們稱之為雜湊矩陣（scatter matrix）。

     然後可以對e求偏導數，但是e需要首先滿足，引入拉格朗日乘子，來使最大（最小），令

     求偏導

     這裡存在對向量求導數的技巧，方法這裡不多做介紹。可以去看一些關於矩陣微積分的資料，這裡求導時可以將看作是，將看做是。

     導數等於0時，得

     兩邊除以n-1就變成了，對協方差矩陣求特徵值向量了。

     從不同的思路出發，最後得到同一個結果，對協方差矩陣求特徵向量，求得後特徵向量上就成為了新的座標，如下圖：

     這時候點都聚集在新的座標軸周圍，因為我們使用的最小平方誤差的意義就在此。

PCA理論意義：

   PCA將n個特徵降維到k個，可以用來進行資料壓縮，如果100維的向量最後可以用10維來表示，那麼壓縮率為90%。同樣影象處理領域的KL變換使用PCA做影象壓縮。但PCA要保證降維後，還要保證資料的特性損失最小。再看回顧一下PCA的效果。經過PCA處理後，二維資料投影到一維上可以有以下幾種情況：

     我們認為左圖好，一方面是投影后方差最大，一方面是點到直線的距離平方和最小，而且直線過樣本點的中心點。為什麼右邊的投影效果比較差？直覺是因為座標軸之間相關，以至於去掉一個座標軸，就會使得座標點無法被單獨一個座標軸確定。

     PCA得到的k個座標軸實際上是k個特徵向量，由於協方差矩陣對稱，因此k個特徵向量正交。看下面的計算過程。

     假設我們還是用來表示樣例，m個樣例，n個特徵。特徵向量為e，表示第i個特徵向量的第1維。那麼原始樣本特徵方程可以用下面式子來表示：

     前面兩個矩陣乘積就是協方差矩陣（除以m後），原始的樣本矩陣A是第二個矩陣m*n。

     上式可以簡寫為

     我們最後得到的投影結果是