Part1. 隨機事件

1-1.隨機試驗

隨機試驗:可以在相同條件下重復進行，每次試驗的結果不止一個，事先知道所有可能的結果但不確定是哪一個的試驗。
舉例：重復的拋出一枚均勻的硬幣就是一個隨機試驗，事先知道它的結果，但是不知道究竟是正面還是反面。

1-2.隨機事件

定義1：隨機試驗可能的結果，稱為樣本空間，它的子集就叫做隨機事件。
定義2：在一定條件下，可能發生也可能不發生的事件叫做隨機事件。
舉例：拋出硬幣後可能正面落地，可能反面落地，那麽“拋出硬幣後正面落地”就是一個隨機事件，它可能發生，也可能不發生。

1-3.頻率與概率

頻率：\(n\)次重復試驗，事件A發生的次數為\(n_A\)，則\(n_A/n\)

1-4.古典概型（等可能概型）

古典概型：如果一個隨機試驗的結果有限，並且每一種結果發生的可能性相同，那麽這個概率模型就是古典概型，也稱為等可能概型。

1-5.條件概率與全概率

條件概率：
\[ P(B|A)=\frac{P(AB)} {P(A)}, 其中P(A)>0 \]
事件A發生的情況下事件B發生的概率，稱為條件概率。
全概率：

1-6.貝葉斯公式

\[ P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^n{P(A|B_j)P(B_j)}},i=1,2…n. \]
其中，\(P(A)>0,P(B_i)>0(i=1,2…n)\)

1-7.先驗概率與後驗概率

先驗概率：\(P(Y)\)
後驗概率：\(P(Y|X)\)
先驗概率是事前概率，是歷史數據統計得到的預判概率；後驗概率是一個事件發生後另外一個事件發生的概率，是條件概率。
舉例：
根據歷史統計數據，這個季節下雨的概率為\(P(A)\)，而打雷後下雨的概率為\(P(A|B)\)，前者為先驗概率，後者為後驗概率。
貝葉斯公式就是一種通過先驗概率計算後驗概率的方法。

1-8.獨立事件

相互獨立：
設A、B是兩個隨機事件，如果滿足\(P(AB)=P(A)P(B)\)，則稱A、B相互獨立。
定理1：
設A、B是兩個隨機事件，且\(P(A)>0\)，則A、B相互獨立等價於\(P(B|A)=P(B)\)。
如果兩個時間相互獨立，那麽一個事件是否發生對另一個事件發生沒有影響。
定理2：
如果A、B相互獨立，則\(\bar A\)與\(B\)、\(\bar A\)與\(\bar B\)、\(A\)與\(\bar B\)均為相互獨立事件。
推廣到n個事件：
設\(A_1,A_2,……,A_n\)是\(n(n \geq 2)\)個事件，如果其中任意多個事件的積事件的概率，都等於各事件的概率之積，則稱\(A_1,A_2,……,A_n\)相互獨立。

Part2. 隨機變量

2-1.隨機變量

隨機試驗可能的結果形成了樣本空間S，隨機事件就是樣本空間S的某個子集，而樣本空間S中每個元素e都會對應一個實數，這種映射關系可以定義為一個函數f(e)，那麽這個函數就c稱為隨機變量。
這樣定義隨機變量：隨機變量是隨機試驗樣本空間上的單值實數函數。
因此，隨機變量的取值是由隨機試驗的結果確定，具有概率性。
舉例：
重復的拋出一枚均勻的硬幣，其結果可能是正面朝上，也可以能是反面朝上，結果可能情況提前知道但不確定具體是哪種結果，所以說，這是一個隨機試驗。
"結果正面朝上"是其中一種結果，是一個隨機事件，可能發生，也可能不發生。
如果定義“拋出一枚硬幣，正面朝上的次數”為X，那麽，“結果正面朝上”時，X=1；“結果反面朝上”時，X=0。那麽X就是一個隨機變量。

2-2.連續型隨機變量與離散型隨機變量

離散型隨機變量：取值可以一一列舉，有限個或者可列舉的無限多個。
連續型隨機變量：取值不能一一列舉，可能取值連續的充滿了某一區間。

2-3.離散型隨機變量的分布律

定義：設離散型隨機變量\(X\)所有可能的取值為\(x_k(k=1,2,…)\)，X取各個可能值的概率為：
\[ P\{X=x_k\}=p_k,k=1,2,… \]其中\(p_k\)滿足兩個條件：1）\(p_k \geq 0,k=1,2…\)；2）\(\sum\limits_{k=1}^\infty{p_k}=1\)。
可以將分布律用表格表示：

2-4.隨機變量的分布函數

定義：設X是一個隨機變量，x是任意實數，函數:
\[F(X)=P\{X \geq x\}, -\infty < x < +\infty \] 稱為\(X\)的分布函數。
有以下性質：
1）對於任意實數，\(x_1,x_2(x_1 \leq x_2)\)，有:
\[ P\{x_1< X \leq x_2\}=P\{X \leq x_2\}-P\{X \leq x_1\}=F(x_2)-F(x_1) \]2）\(F(X)\)是一個不減函數；
3）\(F(-\infty)=0,F(+\infty)=0\)；
4）\(F(X)\)是一個右連續函數；

2-5.連續型隨機變量的概率密度函數

對於一個連續型隨機變量\(X\),其分布函數為\(F(X)\)，如果存在非負函數\(f(x)\)，並且對於任意實數\(x\)，有：
\[ F(X)=\int_{-\infty}^x {f(t)}{\rm d}t \]那麽就稱\(f(x)\)為隨機變量\(X\)的概率密度函數。
有以下性質：
1）\(f(x) \geq 0\)；
2）\(\int_{-\infty}^{+\infty} {f(x)}{\rm d}x=1\)；
3）對於任意實數\(x_1,x_2(x_1 \leq x_2)\)，有\(P\{x_1<X \leq x_2\}=F(x_2)-F(x_1)=\int_{x_1}^{x_2} {f(x)}{\rm d}x\)；
4）若\(f(x)\)在點\(x\)處連續，則有\(F‘(X)=f(x)\)。

2-6.重要的隨機變量分布

（1）0-1分布

定義：隨機變量\(X\)只可能取兩個值：0或者1，分布律為：
\[ P\{X=x_k\}=p^k{(1-p)^{1-k}},k=0,1,其中0<p<1. \]

（2）二項分布

伯努利試驗：某一個試驗只有兩種可能的結果，獨立的進行n次重復試驗，稱為n重伯努利試驗。
兩個特點：1）重復：兩個可能的結果及其概率不變；2）獨立：兩兩試驗之間互不影響。
定義：隨機變量\(X\)表示n重復伯努利試驗中某事件A發生的次數，那麽它的概率為：
\[ P\{X=k\}={n \choose k}{p^k}{(1-p)^{n-k}},k=0,1,…,n \] 其中，\(p\)為事件A發生的概率。
我們稱\(X\)服從(n,p)的二項分布，當n=1時，即為0-1分布。

（3）幾何分布

定義：隨機變量\(X\)表示n重復伯努利試驗中某事件A第一次發生時的試驗次數，那麽它的概率為：
\[ P\{X=k\}=(1-p)^{k-1}p,k=1,2,… \] 其中，\(p\)為事件A發生的概率。
我們稱\(X\)服從幾何分布，記為\(X~G(p)\)。

（4）泊松分布

定義：隨機變量X所有可能取值為0,1,2,…，如果各個取值的概率為：
\[ P\{X=k\}=\frac{\lambda ^k{e^{-\lambda}}}{k!},\lambda > 0 \] 則稱隨機變量\(X\)服從泊松分布，記為\(X\)~\(\pi(\lambda)\)。

（5）均勻分布

定義：如果連續型隨機變量X具有概率密度函數：
\[ f(x)=\begin{cases} \frac{1}{b-a},\quad a \leq x\leq b\0, \quad 其他 \end{cases} \]則稱\(X\)在區間\([a,b]\)上服從均勻分布，記為\(X\)~\(U(a,b)\)。
均勻分布的概率大小只與區間長度有關，與區間位置無關。

（6）指數分布

定義：如果連續型隨機變量X具有概率密度函數：
\[ f(x)=\begin{cases} \frac{1}{\theta}e^{-x/\theta},\quad x>0\0, \quad 其他 \end{cases} \]其中，\(\theta>0\)為常數，則稱\(X\)服從參數為\(\theta\)的指數分布。
具有以下性質：
對於任意的\(s,t>0\)，有\(P\{X>s+t|X>s\}=P\{X>t\}\)

（7）正態分布

定義：如果連續型隨機變量\(X\)的概率密度函數為：
\[f(x)= \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2{\sigma}^2}}, -\infty <x< +\infty \] 其中\(\mu,\sigma(\sigma>0)\)為常數，則稱X服從參數為\(\mu,\sigma\)的正態分布（高斯分布），記為\(X\)~\(N(\mu,{\sigma}^2)\)。
具有以下性質：
1）圖像關於\(x=\mu\)軸對稱，\(x=\mu\)取到最值\(\frac{1}{\sqrt{2\pi}\sigma}\)；
2）\(\sigma\)越小，曲線越尖瘦，越大越矮胖。
其分布函數為：
\[ F(X)=\frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^xe^{-\frac{(t-\mu)^2}{2{\sigma}^2}}dt \]標準正態分布：
當\(\mu=0,\sigma=1\)時，隨機變量X服從標準正態分布。
其概率密度函數為：
\[ f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}, -\infty <x< +\infty \]
其分布函數為：
\[ F(X)=\frac{1}{\sqrt{2\pi}} \int_{-\infty}^xe^{-\frac{t^2}{2}}dt \]
普通正態分布函數轉為標準正態分布函數：
\[ F(X)=\Phi(\frac{X-\mu}{\sigma}) \]
\(3\sigma\)原則：
如果一個隨機變量服從正態分布\(N(\mu,{\sigma}^2)\)，那麽其99.74%的概率會分布在\((\mu-3\sigma,\mu+3\sigma)\)範圍內。

Part3. 隨機變量的數學特征

3-1.期望

期望，又稱均值，由隨機變量\(X\)的概率分布確定。
對於一個離散型隨機變量\(X\)，其分布律為\(P\{X=x_k\}=p_k,k=1,2,…\)，則其期望為：
\[ E(X)=\sum_{k=1}^{+\infty}{x_k}{p_k} \]
對於一個連續型隨機變量\(X\)，其概率密度函數為\(f(x)\)，則其期望為：
\[ E(X)=\int_{-\infty}^{+\infty} x{f(x)}dx \]
期望的性質：
1）設\(C\)為常數，則有\(E(C)=C\)；
2）設\(X\)是一個隨機變量，C是常數，則有\(E(CX)=CE(X)\)；
3）設\(X,Y\)是兩個隨機變量，則有\(E(X+Y)=E(X)+E(Y)\)，可推廣到任意有限個隨機變量之和；
4）設\(X,Y\)是相互獨立的隨機變量，則有\(E(XY)=E(X)E(Y)\)，可推廣到任意有限個相互獨立的隨機變量之積。

3-2.方差

方差，用來度量隨機變量X與其均值E(X)之間的偏離程度。D(X)越小代表數據越集中，越大代表數據越分散。
\[ D(X)=Var(X)=E\{[X-E(X)]^2\} \]
標準差，或稱均方差為\(\sigma(X)=\sqrt{D(X)}\)。
對於一個離散型隨機變量，其方差為：
\[ D(X)=\sum_{k=1}^{+\infty}{[x_k-E(X)]^2{p_k}} \]
對於一個連續型隨機變量，其方差為：
\[ D(X)=\int_{-\infty}^{+\infty} {[x-E(X)]^2}{f(x)}dx \]
另外，方差與期望之間有如下關系：
\[ D(X)=E(X^2)-[E(X)]^2 \]
方差的性質：
1）設\(C\)為常數，則\(D(C)=0\)；
2）設\(X\)施隨機變量，\(C\)是常數，則有：\(D(CX)=C^2{D(X)}, D(X+C)=D(X)\)
3）設\(X,Y\)是兩個隨機變量，則有\(D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}\)
特別地，如果\(X,Y\)相互獨立，則有\(D(X+Y)=D(X)+D(Y)\)。

3-3.協方差與相關系數

二維隨機變量\((X,Y)\)，定義隨機變量\(X\)與\(Y\)的協方差：
\[ Cov(X,Y)=E{[X-E(X)][Y-E(Y)]} \] 有以下性質：
1）\(Cov(X,Y)=Cov(Y,X)\)
2）\(Cov(X,X)=D(X)\)
3）\(D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\)
4）\(Cov(X,Y)=E(XY)-E(X)E(Y)\)
5）\(Cov(aX,bY)=abCov(X,Y),a,b\)是常數
6）\(Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_1,Y)\)
定義隨機變量X與Y的相關系數：
\[ \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} \] 有以下性質：\(|\rho_{XY}| \leq 1\)
\(\rho_{XY}\)是一個可以用來表征\(X,Y\)之間線性關系緊密程度的量。當\(|\rho_{XY}|\)較大時，就認為\(X,Y\)線性相關程度大；\(|\rho_{XY}|\)較小時，就認為\(X,Y\)線性相關程度小；\(|\rho_{XY}|\)為0時，就認為\(X,Y\)不相關；\(|\rho_{XY}|\)為1時，就認為\(X,Y\)完全線性相關。
\(X,Y\)相互獨立時，一定不相關；\(X,Y\)不相關時，則不一定相互獨立。

3-4.原點矩與中心矩

設\(X,Y\)是隨機變量，
k階原點矩：\(E(X^k),k=1,2,…\)
k階中心矩：\(E([X-E(X)]^k),k=2,3,…\)
k+l階混合矩：\(E({X^k}{Y^l}),k,l=1,2,…\)
k+l階混合中心矩：\(E({[X-E(X)]^k}{[Y-E(Y)]^l}),k,l=1,2,…\)
可以看出：期望E(X)是一階原點矩，方差D(X)是而階中心距，協方差Cov(X,Y)是X和Y的二階混合中心矩。

3-5.協方差矩陣

對於二維隨機變量\((X_1,X_2)\)，如果它的四個二階中心矩都存在，記為：
\(c_{11}=E\{[X_1-E(X_1)]^2\}\)
\(c_{12}=E\{[X_1-E(X_1)][X_2-E(X_2)]\}\)
\(c_{21}=E\{[X_2-E(X_2)][X_1-E(X_1)]\}\)
\(c_{22}=E\{[X_2-E(X_2)]^2\}\)
將它們排成矩陣形式：
\[ \begin{pmatrix} c_{11} & c_{12}\\ c_{21} & c_{22} \\ \end{pmatrix} \]
這個矩陣就是隨機變量\((X_1,X_2)\)的協方差矩陣。
推廣到\(n\)維隨機變量\((X_1,X_2,…,X_n)\)的二階混合中心矩，如果：
\(c_{ij}=Cov(X_i,Y_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\},i,j=1,2,…\)
都存在，則稱矩陣：
\[ \begin{pmatrix} \begin{array}{cccc} c_{11} & c_{12} & \dots & c_{1n}\c_{21} & c_{22} & \dots & c_{2n}\\vdots & \vdots & &\vdots\c_{n1} & c_{n2} & \dots & c_{nn}\\end{array} \end{pmatrix} \] 為\(n\)維隨機變量\((X_1,X_2,…,X_n)\)的協方差矩陣。

3-5.重要分布的數學特征

0-1分布：期望\(p\)、方差\(p(1-p)\)
二項分布：期望\(np\)、方差\(np(1-p)\)
幾何分布：期望\(\frac{1}{p}\)、方差\(\frac{1-p}{p^2}\)
泊松分布：期望\(\lambda\)、方差\(\lambda\)
均勻分布：期望\(\frac{a+b}{2}\)、方差\(\frac{(b-a)^2}{12}\)
指數分布：期望\(\theta\)、方差\({\theta}^2\)
正態分布：期望\(\mu\)、方差\({\sigma}^2\)

概率論與數理統計基礎<1>:隨機事件與隨機變量