數理統計基礎知識

• 1. 隨機變數
• 2. 概率與分佈
• 離散型隨機變數概率分佈
• 連續隨機變數概率分佈
• 3. 期望與方差
• 期望
• 方差
• 3. 常見概率分佈
• 離散型隨機變數
• 連續型隨機變數

1. 隨機變數

簡單的來說，隨機變數是將一個隨機性的事件的可能發生結果對映為數值的一種方式，先看下面這個例子：

例子：在拋硬幣這個隨機事件中，可能得到的結果為正面和反面（假設立起來的情況不存在）。所以在這個隨機事件中，可能的結果構成的集合為{ 正面，反面}。為了方便我們研究這個隨機事件，可將正面表示為 1， 反面表示為0，因此可能的結果可表示為Ω={1, 0}（稱樣本空間）。

隨機變數：隨機變數X是定義在樣本空間Ω上的一個實值單值函式，即對於隨機事件的所有結果，都可以通過隨機變數X對映到樣本空間S中的唯一的實值。

隨機變數的要求：①實值單值函式　②函式是可測的

隨機變數按照取值是否連續可分為離散型隨機變數和連續型隨機變數。

例如：燈泡的使用壽命為連續型隨機變數，擲硬幣的結果為離散型隨機變數

2. 概率與分佈

離散型隨機變數概率分佈

對於離散型隨機變數來說，樣本空間中的每一個值都對應的確切的概率，我們把離散型隨機變數的概率分佈稱為分佈律，也稱概率分佈、概率函式、分佈等。
定義1：設離散型隨機變數X所有可能取的值為x_k(k=1, 2, …)，事件X=x_k

定義2：可定義分佈函式為：
$F(x)=P\{X≤x\}=\sum_{x_k≤x}p_k ， k=1, 2, ...\quad$
分佈函式F(x)表示隨機變數X小於給定值x的概率。

連續隨機變數概率分佈

對於連續型隨機變數來說，由於樣本空間的值是連續的，因此討論某一個值對應的概率是沒有意義的，也可以說概率為0。

例如：燈泡的使用壽命為0到∞小時，則燈泡壽命正好為1000小時的概率趨於0。

描述連續型隨機變數的概率分佈規律可以採用概率密度的概念。
定義3：設X為隨機變數，F(x)為X的分佈函式，若存在非負函式p(x)，使對於任意實數x有：
$F(x)=\quad \int_{-\infty} ^x p(x) dx$
則X為連續型隨機變數，其中p(x)為X的概率密度函式，簡稱概率密度。
注：① ∫p(x)=1 ②F’(x)=p(x)

3. 期望與方差

在概率論中，為了研究分佈的一些性質，我們引入了期望與方差兩個概念。其中，期望表示分佈的平均情況，而方差表示分佈的分散情況。

上圖中是期望與方差不同的三個正態分佈的密度函式，其中，隨機變數 $X_1$與 $X_2$的期望相同而方差不同，故 $X_2$看起來更加的平坦； $X_1$與 $X_3$的方差相同而期望不同，因此 $X_1$與 $X_3$的中心位置不同。下面給出期望和方差的定義：

期望

離散型隨機變數的分佈是離散的，因此期望與方差的形式為求和的形式：
定義1：設離散型隨機變數X的分佈律為：
$P\{X=x_k\}=p_k，k=1, 2,...$
且級數 $\displaystyle\sum_{k}x_kp_k$收斂，則稱 $\displaystyle\sum_{k}x_kp_k$為隨機變數X的數學期望，簡稱期望。記作：
$E(X)=\sum_{k}x_kp_k， k=1,2, ...$

例子：考慮擲硬幣這個隨機事件，設硬幣朝上記為1，朝下記為0。設二者的概率均為0.5，則結果的數學期望 $E(X)=\sum_{k}x_kp_k=1*0.5+0*0.5=0.5$

連續性隨機變數的期望可通過積分求得，下面給出定義：
定義2： 設連續型隨機變數X的密度函式為 $f(x)$，若積分 $\int_{-\infty} ^{+\infty}xf(x) dx$收斂，則隨機變數X的數學期望為：
$E(X)=\int_{-\infty} ^{+\infty}xf(x) dx$
因此，我們可以通過對密度函式 $f(x)$進行積分求得離散型隨機變數的期望。

性質：隨機變數的期望有如下幾條重要的性質
(1) $E(kX)=kE(X)$
(2) $E(X+Y)=E(X)+E(Y)$
(3) $E(XY)=E(X)E(Y)$（要求X與Y相互獨立）

方差

通常情況下，方差可以通過均值和分佈求得，下面給出方差的定義和計算方法：
定義3： 設隨機變數X的期望為 $EX$， 且 $E\{(X-EX)^2\}$存在，則稱其為隨機變數X的方差，記為：
$D(X)=E\{(X-EX)^2\}$
通常方差還可以通過下式進行計算：
$D\left(X\right)=E(X^2$