協方差深入解讀
在做機器學習時，用到協方差，之前對之意義不是很理解，今天著重研究一下。
統計學基本概念
學過概率統計的孩子都知道，統計裡最基本的概念就是樣本的均值，方差，或者再加個標準差。首先我們給你一個含有n個樣本的集合關於協方差矩陣的概念及意義，依次給出這些概念的公式描述，這些高中學過數學的孩子都應該知道吧，一帶而過。
很顯然， 均值 描述的是樣本集合的中間點，它告訴我們的資訊是很有限的，而標準差給我們描述的則是樣本集合的各個樣本點到均值的距離之平均。以這兩個集合為例，[0，8，12，20]和[8，9，11，12]，兩個集合的均值都是10，但顯然兩個集合差別是很大的，計算兩者的標準差，前者是8.3，後者是1.8，顯然後者較為集中，故其標準差小一些， 標準差 描述的就是這種“ 散佈度 ”。之所以除以n-1而不是除以n，是因為這樣能使我們以較小的樣本集更好的逼近總體的標準差，即統計上所謂的“無偏估計”。而方差則僅僅是標準差的平方。
為什麼需要協方差？
上面幾個統計量看似已經描述的差不多了，但我們應該注意到， 標準差和方差一般是用來描述一維資料的 ，但現實生活我們常常遇到含有 多維資料的資料集 ，最簡單的大家上學時免不了要統計多個學科的考試成績。面對這樣的資料集，我們當然可以按照每一維獨立的計算其方差，但是通常我們還想了解更多，比如，一個男孩子的猥瑣程度跟他受女孩子歡迎程度是否存在一些聯絡啊，嘿嘿~協方差就是這樣一種用來度量兩個隨機變數關係的統計量，我們可以仿照方差的定義：
來度量各個維度偏離其均值的程度，標準差可以這麼來定義：
協方差的結果有什麼意義呢？如果結果為正值，則說明兩者是正相關的(從協方差可以引出“相關係數”的定義)，也就是說一個人越猥瑣就越受女孩子歡迎，嘿嘿，那必須的~結果為負值就說明負相關的，越猥瑣女孩子越討厭，可能嗎？如果為0，也是就是統計上說的“相互獨立”。（sh199210注：該結論有誤，協方差為零不能說明獨立）
協方差的意義
在概率論中，兩個隨機變數 X 與 Y 之間相互關係，大致有下列3種情況：
當 X, Y 的聯合分佈像上圖那樣時，我們可以看出，大致上有： X 越大 Y 也越大， X 越小 Y 也越小，這種情況，我們稱為“ 正相關 ”。
當X, Y 的聯合分佈像上圖那樣時，我們可以看出，大致上有：X 越大Y 反而越小，X 越小 Y 反而越大，這種情況，我們稱為“ 負相關 ”。
當X, Y 的聯合分佈像上圖那樣時，我們可以看出：既不是X 越大Y 也越大，也不是 X 越大 Y 反而越小，這種情況我們稱為“ 不相關 ”。
怎樣將這3種相關情況，用一個簡單的數字表達出來呢？
在圖中的區域（1）中，有 X>EX ，Y-EY>0 ，所以(X-EX)(Y-EY)>0；
在圖中的區域（2）中，有 X<EX ，Y-EY>0 ，所以(X-EX)(Y-EY)<0；
在圖中的區域（3）中，有 X<EX ，Y-EY<0 ，所以(X-EX)(Y-EY)>0；
在圖中的區域（4）中，有 X>EX ，Y-EY<0 ，所以(X-EX)(Y-EY)<0。
當X 與Y 正相關時，它們的分佈大部分在區域（1）和（3）中，小部分在區域（2）和（4）中，所以平均來說，有E(X-EX)(Y-EY)>0 。
當 X與 Y負相關時，它們的分佈大部分在區域（2）和（4）中，小部分在區域（1）和（3）中，所以平均來說，有(X-EX)(Y-EY)<0 。
當 X與 Y不相關時，它們在區域（1）和（3）中的分佈，與在區域（2）和（4）中的分佈幾乎一樣多，所以平均來說，有(X-EX)(Y-EY)=0 。
所以，我們可以定義一個表示X, Y 相互關係的數字特徵，也就是 協方差 。
cov(X, Y) = E(X-EX)(Y-EY)
當 cov(X, Y)>0時，表明 X與Y 正相關；
當 cov(X, Y)<0時，表明X與Y負相關；
當 cov(X, Y)=0時，表明X與Y不相關。
這就是協方差的意義。
協方差多了就是協方差矩陣
上一節提到的猥瑣和受歡迎的問題是典型二維問題，而協方差也只能處理二維問題，那維數多了自然就需要計算多個協方差，比如n維的資料集就需要計算關於協方差矩陣的概念及意義個協方差，那自然而然的我們會想到使用矩陣來組織這些資料。給出協方差矩陣的定義：
這個定義還是很容易理解的，我們可以舉一個簡單的三維的例子，假設資料集有{x,y,z}關於協方差矩陣的概念及意義三個維度，則協方差矩陣為
可見，協方差矩陣是一個對稱的矩陣，而且對角線是各個維度上的方差。
關於協方差矩陣的解讀
協方差矩陣實在是太重要了，無論是在 計量，金融工程還是隨機分析 中，我們都會到用到協方差矩陣。
其實，這三者都利用了協方差矩陣本身的含義，即隨機變數之間的線性相關關係（當然， 相關係數矩陣 在此處更為貼切），也利用了協方差矩陣為半正定矩陣的性質。下面具體道來:
1.在金融隨機分析和金融工程中的應用
在金融隨機分析中我們可以採用Monte Carlo方法對期權進行定價，如果對於普通的歐式期權，那麼我們只要產生N個正態分佈的隨機數即可。但是，對於那些依賴於多個相關隨機過程（Correlated Brownian Motion）的資產的定價，我們就要產生滿足特定相關關係的隨機變數，而這正是依靠協方差矩陣和上面所述的Cholesky分解完成的。比如，Quanto（Quantity Adjusting Option）雙幣種期權就是滿足上述特徵的期權。這裡我複製我的BLOG中的一段，
Quanto Nikkei Option. Consider a Nikkei quanto into dollar call option. Assuming both the USD/JPY and Nikkei are both lognormal process, i.e.
where S and X are the equity and FX process. On a spreadsheet, simulate the process, and show that by delta hedging alone, you can replicate the quanto call option. Assume the maturity of the option is one year.
在使用Monte Carlo方法對於上述期權定價時，核心是要模擬兩個具有相關性的布朗運動，這時候，我們就可以利用之前提到的協方差矩陣的Cholesky分解。Matlab code:
Sigma = [siga^2 siga*sigb*rho; siga*sigb*rho sigb^2]; B = randn(2,n); C=chol(Sigma); V = C' * B; STa = S0a * exp((mua - (siga^2)/2)*T + sqrt(T)*V(1,:)); STb = S0b * exp((mub - (sigb^2)/2)*T + sqrt(T)*V(2,:));
相關文章： 協方差代表的意義是什麼?