概率與統計（Probability and Statistics）

1 概率

1.1 條件概率（Conditional Probability）

$P\left(A\mathrm{\mid }B\right)$

= P ( A ∩ B ) P

( B ) P(A|B)= \frac {P(A\cap B )}{P(B)}

A在另外一個事件B已經發生條件下的發生概率。
例題：老王有兩個孩子，親生的！
A：他告訴有一個是男孩子，求另一個是女孩子的概率。
B：我看到了一個是男孩，求另一個是女孩的概率。
答案：A是2/3,B是1/2。

1.2 全概率（Total Probability）

$P(B)=P(A_1 \cap B)+…+P(A_n \cap B)=P(B|A_1)P(A_1)+…P(B|A_n)P(A_n)$

1.3 貝葉斯法則（Bayes Rule）

$P(A_i|B)= \frac {P(A_i)P(B|A_i)}{P(B)}=\frac {P(A_i)P(B|A_i)}{P(B|A_1)P(A_1)+…P(B|A_n)P(A_n)}$

推導 $P(A\cap B )=P(A|B)P(B)=P(B|A)P(A)$

$P(H|D)= \frac {P(H)P(D|H)}{P(D)}$
等式右邊 $P(H)$為先驗概率， $P(D|H)$為似然概率， $P(D)$為證據。等式左邊 $P(H|D)$為後驗概率。

1.4 獨立(Independence)

如果A和B是獨立的，那麼滿足：
$P(A \cap B)=P(A)P(B)$
如果P(B)>0,則同時滿足：
$P(A|B)=P(A)$
如果A，B獨立，如果有事件C，則滿足：
$P(A \cap B|C)=P(A|C)P(B|C)$
如果A，B獨立，且 $P(B \cap C)>$ 0,則滿足：
$P(A|B \cap C)=P(A|C)$

2 統計

2.1 二項式概率(Binomial Probabilities)

例如：一個硬幣投擲N次，求正面出現k次的概率。
$p_X(k)=P(X=k)=C_n^kp^k(1-p)^{n-k},k=0,1,2…n$

2.2 期望（Expectation）

隨機變數的平均值。
$E[X]=\sum xp_X(x)$
複合函式求期望：
$E[g(x)]=\sum g(x)p_X(x)$

2.3 方差（Variance）

隨機變數的波動性。
$var(X)=E[(X-E[x])^2]$

2.4 協方差(Covariance)

$Cov(X,Y)=E[(X-E[X])(Y-E(Y))]$

相關推薦