版權論文作者所有，本筆記僅用作學術交流,主要是做個筆記。這篇論文寫的很友好，很清楚，你腦子裡出現了什麼疑問，下一句就是答案。而且是工科思維，很多實現細節作者也會提到，整篇論文幾乎就是有不能更詳細註釋的程式碼！！我的鴿，被校友的論文圈粉了。我也要向著這種方向思考，寫作。

IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 33, NO. 9, SEPTEMBER 2011

Ruiping Wang, Member, IEEE, Shiguang Shan, Member, IEEE, Xilin Chen, Senior Member, IEEE, Jie Chen, Member, IEEE, and Wen Gao, Fellow, IEEE

abstract：

本文做的是流型降維，看Introduction。共兩步：

• locally linear patch, Maximal Linear Patch (MLP) to maximize the local neighborhood in which linearity holds.
• MLPs aligned into a global coordinate space, which is achieved by applying MDS to some randomly selected landmarks.called Landmarks-based Global Alignment(LGA)

Introduction：

流型降維，在保持原有資料的一些相關性特徵（比方說測地線距離，區域性關係）的基礎上降低維度。一張圖：

三維的圖(b)特徵點，可以看作是捲起來的白紙，然後你給他鋪開，紙上彩色點的紙上距離沒變，但是降低成2維得了。因為我看過相關資料。這些就夠了，感興趣：

https://www.zhihu.com/question/24015486

https://blog.csdn.net/bbbeoy/article/details/78002756

以下兩個特點需要注意，LGA方法來實現第二步，測地線距離和全域性特徵都儲存了下來，而且作者認為是全域性最優，3提到了一個mapping function，後面會講：

3  第一步MLPs（最大線性包）的嵌入

3.1  MLPs的生成

很自然的想法，弧度大的不認為能壓成一個平面，小的可以。

所以AB這條弧線集合可以不斷的被分解成更小的集合。於是我們採用聚類。

具體演算法如下：

x是高維向量，最後要給他們不重不漏的分到P個集合裡。原則就是集合內的測地線與歐氏距離之比大於某個閾值，該集合分裂成兩個。

R表示兩個資料點之間的測地線距離與歐氏距離的比值。也就是集合內求個平均值。

一開始只有一個包，然後排序，從最大包的開始審，稱之為parent包。先扔出去兩個包（虛擬碼中的3.1-3.2），於是該資料增加了左右兩個包，然後只要parent包不空就一直扔。

空了再去取個最大的。演算法寫的很清楚。

再說這個閾值，經驗來講取平均值，可以看下取幾個值，然後選擇拐點處的，因為拐點之後就穩定了。

另外文中提到一個邊緣處的節點的聚類問題，就是圖c的黑色節點，如果是平滑的，那麼不知道如何分，所以用軟分類：

以上都是隨便來一組點都可以做的，本質就是聚類。

3.2 建立區域性線性模型

之後開始PCA降維了。注意PCA的目的是使得資料方差最大，所以是資料相關的，也就是說，一個包有一個降維矩陣。

那麼也就是有P個Mi。但是每個降維主成分矩陣的低維d，應該保持一致。

3.3   Landmarks-Based Global Alignment全域性聯合

將MLPs聯合起來成為全域性的模型，需要找到能夠代表MLPs的引數。用什麼來表示MLPs。

對於每一個MLP，本論文建模用降維的公式(4)中的均值mean+一些在MLPs中的引數點，一共有多少個patch，就有多少套mean+引數點：

• final embedding space learned by the MDS analysis of the sample means and some samples along the principal axes of the MLPs
• name these means and sampled points landmarks
  
• we need only the mean and one sample along each principal axis:d + 1 landmarks
  
• the training sample nearest to the mean, hereinafter we call it centroid, is used instead of the mean landmark.
  
• the other landmarks need not be sampled along the principal axes. Instead, they can be randomly selected, if only their amount for each MLP is a little greater than d to ensure stability
  

是的你沒看錯，大牛們隨機取了幾個點。。。。不過由於我們事先PCA降維過，所以要用d維Z：

然後還記得那個mean嗎，不妨把他永遠放在第一個位置，

好了我已經把輸入收拾好了，接下來就是MLPs聯合稱global的演算法 。