文章目錄

• 多維縮放MDS
• 推導
• MDS演算法過程

多維縮放MDS

多維縮放(Multiple Dimensional Scaling，MDS)
問題形式化：

• 給定空間中任意兩個點的距離(pairwise distances ), 點的精確座標和維度是未知的.
• 我們希望將這些點嵌入到一個低維的空間中，使得新的空間中點對之間的距離和原始空間中的距離儘可能接近.
  基本思想：
  $d^{}$
  ′ d' 空間的歐式距離等於原始空間的歐式距離
  $\mathrm{\mid }\mathrm{\mid }{z}_i$
  − z j ∣ ∣ = d i
  s t i j , d i s t i j = D i j ||z_i - z_j|| = dist_{ij},dist{ij} = D_{ij}

推導

令 $B=Z^TZ\in R^{m\times m}, b_{ij}=z_i^Tz_j$
$dist_{ij}^2 = ||z_i||^2 + ||z_j||^2 - 2z_i^Tz_j = b_{ii} + b_{jj} - 2b_{ij}$
假定 $Z$已經標準化(中心為0), $\sum_{i=1}^mz_i=0$，用 $D$表示 $B$.

$\begin{aligned} b_{ij} &= - \frac{1}{2}(dist_{ij}^2-b_{ii} - b_{jj})\\ &= - \frac{1}{2}(dist_{ij}^2-\frac{1}{m}\Big(\sum_{j=1}^mdist_{ij}^2 - tr(B)\Big) - \frac{1}{m}\Big(\sum_{i=1}{m}dist_{ij}^2 - tr(B)\Big))\\ & = - \frac{1}{2}\Big(dist_{ij}^2-\frac{1}{m}\sum_{j=1}^mdist_{ij}^2 - \frac{1}{m}\sum_{i=1}^{m}dist_{ij}^2 + \frac{2}{m}tr(B)\Big)\\ & = - \frac{1}{2}\Big(dist_{ij}^2-\frac{1}{m}\sum_{j=1}^mdist_{ij}^2 - \frac{1}{m}\sum_{i=1}^{m}dist_{ij}^2 + \frac{1}{m^2}\sum_{i=1}^m\sum_{j=1}^mdist_{ij}^2\Big)\\ & = - \frac{1}{2}(dist_{ij}^2 -dist_{i\cdot}^2 - dist_{j\cdot}^2 + dist_{\cdot\cdot}^2) \end{aligned}$