• 資料降維的應用：①降低資料的儲存量；②加快機器學習的速度；③資料視覺化
• 資料降維的本質： 方差

PCA（主成分分析）

1. 簡介：principal component analysis,
2. 原理：對於一個未知的系統，我們假設它有n個引數。我們想要求出那些引數最重要，而把不重要的引數給抹掉，從而降低引數向量的維數。PCA的問題其實是一個基的變換，使得變換後的資料有著最大的方差。

3. 演算法過程：

   1）對於一個訓練集，20個sample(i=1,2,3,…,20)，特徵Xi是100維Xi1,Xi2,Xi3,…Xij,…,Xi100，那麼它可以建立一個20*100的樣本矩陣M。
   2）緊接著我們開始求這個樣本的協方差矩陣，得到一個20*20的協方差矩陣，計算過程如下：
     •先求解出Xi的平均Xav=(∑xi)/20;
     •對每一個Xi,計算Xi-Xav,即Mi(第 i 行)變為 Mi-Xav,記為Mn;
     •則容易得到協方差矩陣Z為Mn*Mn’( ’ 表示轉置 ) 。
   3）然後求出這個協方差矩陣Z20x20的特徵值和特徵向量，一般情況下應該有20個特徵值和特徵向量，現在根據特徵值的大小，取出較大的特徵值以及其所對應的特徵向量，（假設提取的特徵值為較大的5個特徵值），那麼這5個特徵向量就會構成一個20*5的矩陣V，這個矩陣就是我們要求的特徵矩陣。

   4）用Mn’去乘以V，得到一個base矩陣（*），大小為100x5。

   5）任取一個樣本1x100,乘上這個100*5的特徵矩陣，就得到了一個1*5的新的樣本，顯然每個sample的維數下降了，然後再用這個1x5向量去比較相似性。

MDS（多維尺度分析）

1. 簡介：multidimensional scaling，根據樣本是否可計量，又分為計量多元尺度法（Metric MDS）和非計量多元尺度法（Nonmetric MDS）。

方法	優點	缺點
Metric	精確	耗時，計算成本高
NonMetric	樣本尺度為ordinal，簡便，直觀，應用範圍更廣	無法知道評估準則，效果較差

1. 原理：
   定義一個距離函式的集合，如下：
   

   Δ=⎡⎣⎢δ1,1δ2,1δ3,1δ1,2δ2,2δ3,2δ1,3δ2,3δ3,3⎤⎦⎥
   其中δi,j 表示第i個和第j個物件之間的距離，MDS演算法的目的是根據上述的Δ 尋找與物件數同樣多的向量，使得 ||xi−xj||≈δi,j ,其中 ||.||為向量的範數，歐式距離之類的東西。
   mds本質就是找到一個子空間，物體嵌入子空間中，彼此的相似度與Δ類似，即針對相似度的一個優化問題

2. 演算法：

   原理部分：見部落格

ISOMAP（流行學習）

1. 基本思想：高維空間發現低維結構

2. 演算法過程：

   1.通過kNN(k-Nearest Neighbor)找到點的k個最近鄰，將它們連線起來構造一張圖。
   2.通過計算同中各點之間的最短路徑，作為點之間的距離dij放入距離矩陣D
   3.將D傳給經典的MDS演算法，得到降維後的結果。

   RF|DT（隨機森林|決策樹）

   因為隨機森林或者決策樹的分類規則是屬性所含有資訊量的多少，so可以目標屬性為因變數，需要降維的屬性集為自變數，放入隨機森林中進行訓練，然後輸出自變數的feature_importance，選取包含資訊量最大的特徵子集即可。

缺失值比率 (Missing Values Ratio)

該方法的是基於包含太多缺失值的資料列包含有用資訊的可能性較少。因此，可以將資料列缺失值大於某個閾值的列去掉。閾值越高，降維方法更為積極，即降維越少。

低方差濾波 (Low Variance Filter)

與上個方法相似，該方法假設資料列變化非常小的列包含的資訊量少。因此，所有的資料列方差小的列被移除。需要注意的一點是：方差與資料範圍相關的，因此在採用該方法前需要對資料做歸一化處理。

高相關濾波 (High Correlation Filter)

高相關濾波認為當兩列資料變化趨勢相似時，它們包含的資訊也顯示。
注意：①相關系數對範圍敏感，計算前需做歸一化處理
②相關系數有一個明顯的缺點，它接近於1的程度與數據組數n相關，當n較小，不能僅憑