1.流形學習

以下介紹三種常見的流形學習方法，他們的共同點在於：

1）都把資料最本質的結構資訊編碼在一個圖的權值矩陣中；

2）優化問題的求解都可以轉化為相似的特徵值分解問題。

1.1 區域性線性嵌入（LLE）

LLE的基本思想：資料點可能分佈於一個非線性的的子流形上，但是每一個區域性的鄰域可能是線性的這種假設是合理的。所以可以通過線性的係數和相鄰的patch來描述和重建每一個patch的區域性幾何。

假設x1, x2, xn為原始資料空間中的n個數據點，yi表示xi的低維對映，首先構建一個k近鄰的圖G, 其權值矩陣為M，則其重建誤差為

通過求解特徵值分解問題得到最優的嵌入。

1.2 ISOMAP

Let dM be the geodesic distance measure on M and d the standard Euclidean distance measure in Rm
ISOMAP的目標是找到一個歐幾里得嵌入，使得Rm裡面的歐幾里得距離可以很好的逼近在流形M上的距離，即：

在真實的資料集中，潛在的流形M通常是未知的，因此測地距離也是未知的。所以為了發掘流形M的最本質的幾何結構，做法如下：

1）在所有資料點上構建k近鄰圖G，來對區域性的幾何進行建模。

2）通過計算圖G上的所有資料對的最短路徑來估計在流形M上的所有資料點對之間的幾何測地距離。

最優的嵌入也是通過特徵值分解來求得

1.3 Laplacian Eigenmap

拉普拉斯特徵圖方法是基於譜圖理論的。給定一個帶有權值矩陣W的p近鄰的圖G，W的定義和LE最優的對映通過解決以下優化問題得到：

最優的嵌入是通過廣義的特徵值分解來求得。

2. 圖嵌入

圖嵌入的一般問題：給定一個具有權值W的圖G，具有n個頂點，每個頂點表示一個數據點，W是n×n的對稱矩陣。

圖嵌入的目標是：把圖的每個頂點表示為一個低維的向量，該向量儲存了頂點對之間的相似性，其中相似性通過邊緣權值來度量。其優化問題為：

_ ——>>>>>  

其中，L是拉普拉斯圖。

因此，上述的三種流形學習的方法都可以使用圖嵌入框架來解釋，它們的區別在於W和D的不同選擇。

3. 圖嵌入的線性擴充套件

3.1 LDA

3.2 半監督判別分析

3.3 區域性敏感判別分析