臨近編碼 Neighbor Embedding

在非監督學習降維演算法中，高緯度的資料，在他附近的資料我們可以看做是低緯度的，例如地球是三維度的，但是地圖可以是二維的。 那我們就開始上演算法

1. Locally Linear Embedding (LLE)

我們需要找到$w_{ij}$ 來最小化： 找到$w_{ij}$後，我們固定它，然後在z中進行判斷 實驗：

2. Laplacian Eigenmaps

我們回一下半監督模型中： 如果x1 和 x2 在高密度空間相似，那麼他們的結果y1,y2也形似,S 衡量label 平滑度 如果x1 和 x2 在高密度空間相似，z1 和z2也相似

2. T-distributed Stochastic Neighbor Embedding (t-SNE)

前面提到的演算法的問題是，相似的資料離得很近，但是很有可能會重疊 (1) t-SNE演算法首先計算相似度（x和z分佈） 我們需要找到z的集合，使得P和Q的相似度KL最小 （2）衡量相似度函式的選擇 橫座標是zi和zj的距離 可見t-SNE所使用的相似度函式，在距離增大的過程中，相似度下降較慢，更能區分不同的相似度，但是使用的時候注意，不應該是動態資料，而經常是訓練好的靜態資料做視覺化。