• 給定隨機變數xi(i=1,...,N)xi(i=1,...,N)構成的向量XX，它的均值是X¯=E(X)X¯=E(X)，而ΔX=X−X¯ΔX=X−X¯，其協方差矩陣

  Σ=E(ΔXΔXT)Σ=E(ΔXΔXT)

  
  可知，矩陣ΣΣ的對角元是單個變數xixi的方差，而非對角元是交叉協方差。

• 如果XX的概率密度分佈形如

  P(X¯+ΔX)=(2π)−N/2det(Σ−1)1/2exp(−ΔXTΣ−1ΔX/2)P(X¯+ΔX)=(2π)−N/2det(Σ−1)1/2exp(−ΔXTΣ−1ΔX/2)

  
  其中Σ−1Σ−1是半正定矩陣，那麼，變數xixi遵循一個聯合高斯分佈。均值和協方差是X¯和ΣX¯和Σ。

• 特殊情況：Σ=σ2IΣ=σ2I，為各向同性高斯分佈 

  P(X)=(2π−−√σ)−Nexp(−∑(xi−x¯i)2/2σ2)P(X)=(2πσ)−Nexp(−∑(xi−x¯i)2/2σ2)

• 馬氏距離 

  ||X−Y||=((X−Y)TΣ−1(X−Y))1/2||X−Y||=((X−Y)TΣ−1(X−Y))1/2

  
  可以看出，高斯概率密度函式是變數馬氏距離的函式。

• 理解馬氏距離

  一個地區的人用兩個資料表示(身高/cm，體重/g)。瞭解到這個地區的資料均值是(170，60000)。越接近這個體型的人數越多 
  一個人a資料是(180，600100)，另一個人b的資料是(175，63000)。如果採用歐式距離的話，a更接近。因此推出有a身材的人更多。 
  但實際上，我們看來應該是b更接近平均身材。所以，歐式距離有問題。 
  解決方法引入資料方差，計算(x−x¯)/σ(x−x¯)/σ的歐式距離

到目前，大家可以理解協協方差矩陣是對角陣的馬氏距離：距離均值越近，概率越大。而距離與方差有關。那麼馬氏距離中的協方差怎麼回事？ 
協方差矩陣ΣΣ一般是對稱正定矩陣，可以寫成Σ=UTDUΣ=UTDU，D=(σ21,...,σ2N)D=(σ12,...,σN2)是對角矩陣，U是正交矩陣。記X′=UXX′=UX和X′¯=UX¯X′¯=UX¯，則 

exp(−(X−X¯)TΣ−1(X−X¯)/2)=exp(−(X′−X¯′)TUΣ−1UT(X′−X¯′)/2)=exp(−(X′−X¯′)TD−1(X′−X¯′)/2)exp(−(X−X¯)TΣ−1(X−X¯)/2)=exp(−(X′−X¯′)TUΣ−1UT(X′−X¯′)/2)=exp(−(X′−X¯′)TD−1(X′−X¯′)/2)

這樣就可以理解了：馬氏距離在另一個座標系下是獨立變數的距離。距離越遠，概率越小。距離是∑(Δxi/σi)2∑(Δxi/σi)2。 
記住，左乘正交矩陣相當於座標軸進行了剛體歐式運動。歐式運動後，如下圖， 

上面操作的效果如下： 
 
這樣，不同變數獨立了。協方差矩陣是對角矩陣。也可以進一步縮放，變為各向同性的高斯分佈。 
總結一下：馬氏距離在另一個座標系下協方差矩陣是對角陣的馬氏距離。

• 為什麼非要協方差？我就要方差不行嗎？ 
  考慮x1=x2x1=x2，資料冗餘的情況。如果只要方差那麼x1x1投了2次票。通過馬氏距離，D有一個元素是0。相當於少了一票。臥槽，起到了PCA的作用。

• 卡方分佈：χ2nχn2分佈是n個獨立高斯隨機變數的平方和的分佈。當應用於有非奇異協方差矩陣ΣΣ的高斯隨機變數vv時，(v−v¯)TΣ−1(v−v¯)(v−v¯)TΣ−1(v−v¯)的值滿足χ2nχn2分佈。

• 如果協方差矩陣是ΣΣ的高斯隨機變數vv，那麼，(v−v¯)TΣ+(v−v¯)(v−v¯)TΣ+(v−v¯)的值滿足χ2rχr2分佈，其中r=rank(Σ)r=rank(Σ)。