參考：《深度學習500問》

期望
?在概率論和統計學中，數學期望（或均值，亦簡稱期望）是試驗中每次可能結果的概率乘以其結果的總和。它反映隨機變量平均取值的大小。

• 線性運算： \(E(ax+by+c) = aE(x)+bE(y)+c\)
  
• ?推廣形式： \(E(\sum_{k=1}^{n}{a_ix_i+c}) = \sum_{k=1}^{n}{a_iE(x_i)+c}\)
• 函數期望：設\(f(x)\)為\(x\)的函數，則\(f(x)\)的期望為
  • 離散函數： \(E(f(x))=\sum_{k=1}^{n}{f(x_k)P(x_k)}\)
  • 連續函數： \(E(f(x))=\int_{-\infty}^{+\infty}{f(x)p(x)dx}\)

註意：

• 函數的期望不等於期望的函數，即\(E(f(x))=f(E(x))\)
  
• 一般情況下，乘積的期望不等於期望的乘積。
  
• 如果\(X\)和\(Y\)相互獨立，則\(E(xy)=E(x)E(y)?\)。

方差

?概率論中方差用來度量隨機變量和其數學期望（即均值）之間的偏離程度。方差是一種特殊的期望。定義為：

\[ Var(x) = E((x-E(x))^2) \]

方差性質：

1）\(Var(x) = E(x^2) -E(x)^2\)
2）常數的方差為0;
3）方差不滿足線性性質;
4）如果\(X\)和\(Y\)相互獨立, \(Var(ax+by)=a^2Var(x)+b^2Var(y)\)

協方差
?協方差是衡量兩個變量線性相關性強度及變量尺度。 兩個隨機變量的協方差定義為：

\[ Cov(x,y)=E((x-E(x))(y-E(y))) \]

?方差是一種特殊的協方差。當\(X=Y\)時，\(Cov(x,y)=Var(x)=Var(y)\)。

協方差性質：

1）獨立變量的協方差為0。
2）協方差計算公式：

\[ Cov(\sum_{i=1}^{m}{a_ix_i}, \sum_{j=1}^{m}{b_jy_j}) = \sum_{i=1}^{m} \sum_{j=1}^{m}{a_ib_jCov(x_iy_i)} \]

3）特殊情況：

\[ Cov(a+bx, c+dy) = bdCov(x, y) \]

相關系數
?相關系數是研究變量之間線性相關程度的量。兩個隨機變量的相關系數定義為：

\[ Corr(x,y) = \frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}} \]

相關系數的性質：
1）有界性。相關系數的取值範圍是 ，可以看成無量綱的協方差。
2）值越接近1，說明兩個變量正相關性（線性）越強。越接近-1，說明負相關性越強，當為0時，表示兩個變量沒有相關性。

Mathematics Base - 期望、方差、協方差、相關系數總結