搞學術離不開的那些數學（概率論與數理統計）—第一章概率論基本概念
第一章 概率論基本概念
宣告：本部落格圖片來源於四川大學 徐小湛老師講義，僅做學習使用，請勿擅自轉載，如有轉載請聯絡博主，謝謝！！
1 隨機試驗
為了引出隨機試驗的概念，首先，我們需要了解什麼是隨機現象？
隨機現象：就是在個別試驗中其結果呈現不確定性，但在大量重複試驗中，其結果又具有統計規律的現象。
為了研究隨機現象，就要對客觀事件進行觀察。那麼，觀察隨機現象的過程就稱為隨機試驗，簡稱試驗。
那麼，如何確定是否是隨機試驗呢？隨機試驗具有以下幾個特點：
- 在相同的條件下，試驗可以重複進行；
- 每一次試驗的可能結果不止一個，並且實能事先明確試驗的所有可能結果；
- 在每次試驗之前不能確定哪一個結果會出現。
2 樣本空間、隨機事件
1. 樣本空間
對於隨機試驗E 中所有可能的結果組成的集合稱為E 的樣本空間（Sample space），記為S （或 Ω）。其中，樣本空間中的元素，即E 中每一個結果，稱為樣本點。
2. 隨機事件
隨機試驗E的樣本空間S的子集A稱為E的隨機事件（random event），簡稱事件。而由一個樣本點e組成的單點集{ e } ，稱為基本事件（Elementary event）。
3. 必然事件
樣本空間S 包含了試驗的所有樣本店，在每次試驗中它總會發生，則稱S 是必然事件（certain event）
4. 不可能事件
空集∅ 包含任何樣本點，它在每次試驗中都不會發生，稱∅ 為不可能事件（impossible event）。
5. 事件的包含
如果事件A 發生必然導致事件B 發生，即屬於A 的樣本點也屬於B ，則稱事件B 包含事件A ，或者稱事件A 包含於事件* B* 記作
B ⊃A 或A ⊂ B
6. 事件的相等
如果事件A 包含事件B （A ⊃ B），事件B 也包含事件A（A ⊂ B），即A 與B有相同的樣本點，則稱事件A與事件B相等，記作
A =B 。
7. 事件的運算
事件的並（和）
兩個事件A 與事件B 至少一個發生，即“A 或B“,是一個事件則稱事件A與事件B 的並（和） ，記作
A ∪B 或者A+B={x|x∈A 或 x∈B }，如圖所示：
推廣：
事件的並（和）可以推廣到有限或者可列個事件。
n個事件A1，A2，…. ，An中至少有一個發生的事件稱為這些事件的和事件 。
記作
事件的交（積）
兩個事件A 與B 同時發生，即 “A 且 B，是一個事件，稱事件A與事件B 的交（積）。記作
A∩B 或AB ={x|x∈A 且x∈B }，如圖：
推廣：
事件的交（積）可以推廣到有限或者可列個事件。
n個事件A1，A2，…. ，An同時發生的事件稱為這些事件的積事件 。
記作
對立事件（逆事件）
如果每一次試驗中，事件A與事件B必有一個發生，但又不同時發生，則稱事件A 與事件B 為對立事件（opposite event） ，也稱A 與* B* 為互逆事件（complement event），事件A 的對立事件（逆事件）叫“A 逆，非A ”，記作
逆運算的性質
事件的差
事件A 發生，而事件B不發生的事件稱為事件A 與事件B 的差，記作
A-B 或“A 差B ”={x|x∈A 且 ∉ B }則，
互不相容事件（互斥事件）
如果事件A 與事件 B 不能同時發生，則稱事件A與事件B 互不相容（incompatible）或稱互斥（mutually exclusive）
AB=∅ 如圖：
事件A 與事件B 互不相容的充分必要條件是
對立事件和互不相容事件的關係
對立事件一定是互不相容，但互不相容事件未必對立。
6 . 完備事件組
如果事件A1，……,An兩兩互不相容，並且
A1∪…∪An = S，則稱A1，……,An 是一個完備事件組 （每一次試驗中，完備事件組中有且僅有一個事件發生）。
8. 事件的運算律
設A,B,C 為事件，則有
1. 交換律
2. 結合律
3. 分配律
4. 德摩根律（對偶原理）
推廣
5 . 其他運算律
3 頻率和概率
概率論研究的是隨機現象的統計規律性，因此，僅僅知道試驗中可能出現哪些事件是不夠的，還必須對事件發生的可能性大小進行量的描述。為此，我們引入了頻率的概念。
頻率（Frequency）是描述事件發生的頻率程度的一個量
表徵事件在一次試驗中發生的可能性的大小的數，即事件的概率
1. 頻率定義
設在相同的條件下，進行了n次試驗。在這n次試驗中，事件 A 發生的次數稱為事件 A 發生的頻數，記作n（A）
比值n（A）/n稱為事件A的頻率，記作fn（*A）*,即
由定義可得頻率的基本性質：
推廣
2. 概率定義
大量試驗證實，當重複試驗的次數逐漸增大時，事件A 的頻率fn（*A）* 呈現出一種穩定性（統計規律性），即頻率會逐漸趨定於一個介於0和1之間的常數。因此，我們由此定義了概率。
事件 A 發生的頻率的穩定值p稱為A的統計概率，記作P（A），即
P（A）=p
當實驗次數n 相當大時，可以用頻率作為概率的近似值：
P（A）≈fn（A）=n（A）/n
我們從頻率的性質定義 概率公理化定義。
頻率的性質
得出概率公理化定義：
3.幾何概率
幾何概率的定義
幾何概率的性質
4. 概率的性質
性質1：P（∅）=0（不可能事件的概率為零）
性質2：有限可加性設 A1，A2，……,An是兩兩互不相容的事件，則有P(A1∪A2∪…….∪An）=P（A1）+P（A2）+…….+P（An）
推論
設A1,A2……,An 是一個完備事件組，則P（A1）+P（A2）+…….+P（An）=1
性質3：設事件 A 和事件B 滿足 A⊂ B，則
（1）P（A）≤P（B） （單調性）
（2）P（B-A）=P（B）-P（A）（減法公式）
性質4: 對任何事件 A 有
0≤P（A）≤1
性質5：逆事件的概率對於任何事件 A 有
這個公式在計算概率時常用，當直接計算某事件比較困難時，可以轉而計算其對立事件的概率。
性質6（加法公式）：對於任意兩個事件 A 和 B 有
P（A∪B）=P（A）+P（B）-P（AB）
推廣
證明
（加法和乘法原理及排列組合略）
4 等可能概型（古典概型）
1.定義
兩個共同特點：
（1）試驗的樣本空間包含有限個元素；
（2）試驗中每個基本事件發生的可能性相同。
2.等可能概型中事件的概率計算公式
P(A)=k/n=A包含的基本事件數/S中基本事件總數
5 條件概率
1.定義
考慮的是在一個事件已經發生的條件下，另一個事件發生的概率。
-=====================================================
例1：
將一枚硬幣拋擲兩次，觀察其出現正反面的情況。設事件A表示“至少有一次出現正面”，事件B表示“兩次都出現同一面”。
求（1）事件B的概率；
（2）已知A發生的條件下，事件B的概率。
解：
樣本空間 S={正正，正反，反正，反反}
A={正正，正反，反正}
B={正正，反反}
（1）P(B)=2/4=1/2（無條件概率）
（2）在A中出現B的基本事件只有一個“正正”
P(B|A)=( P(AB)/P(A) )=1/3（條件概率）
-=====================================================
P(B|A)=N（AB）/N(A)=(N(AB)/N(S))/(N(A)/N(S))=P(AB)/P(A)
定義 設A，B 是兩個事件，且P(A)>0 ，稱P(AB)/P(A)為在事件A發生的條件下事件B發生的條件概率（Conditional probablity）。記作P(B|A)。
條件概率滿足概率的三個條件（見上）
2.乘法定理
P(AB)=P(A)P(B|A) (P(A)>0)
兩個事件同時發生的概率等於第一個事件的概率乘以第一個事件發生條件下第二個事件的條件概率。
推廣：
P(ABC)=P(AB)P(C|AB)=P(A)P(B|A)P(C|AB)
三兄弟同時出現的概率
等於老大出現的概率
乘以老大出現的條件下老二出現的概率
再乘以老大老二都出現的條件下老三出現的概率
P(A1A2A3…An)=P(A1)P(A2|A1)…P(An|A1A2…An-1)
3.全概率公式和貝葉斯公式
1.全概率公式
概括為：
證明如下所示：
全概率公式的意義
將複雜的事件A劃分成較為簡單的事件AB1，AB2,…,ABn，再結合加法公式和乘法公式計算出A 的概率。
可以看成“有原因推到結果”
舉例
2.貝葉斯公式
定義：
證明
P(Bi|A)=P(BiA)/P(A)=(P(Bi)P(A|Bi))/(Σj P(Bj)P(A|Bj))
分子是乘法公式
分母是全概率公式
分子項除以分母項，實際上表示分子項在分母項中的"權重"。
P(Bi|A)=P(Bi)P(A|Bi))/P(A)
稱為逆概率公式，Bi 與A 交換了位置。
3.貝葉斯公式的意義
在事件A已經發生的條件下，貝葉斯可用來尋找導致A發生各種“原因”Bi 的概率。
例題：
若今後用到貝葉斯公式時，會再單獨做詳細介紹說明！
6 獨立性
1.定義
設A,B 是兩個事件，如果它們滿足等式P(AB)=P(A)P(B),則稱事件A與B相互獨立，簡稱A,B 獨立。
定理一 設A,B是兩個事件，且P(A)>0,則 A,B 獨立的充分必要條件是 P(B|A)=P(B)。
2.事件獨立與互斥的關係
如果P(A)>0,P(B)>0,則A,B獨立，與A,B互斥不能同時成立，因為A,B獨立時，有P(AB)=P(A)P(B)>0,而互斥AB=空集，得P(AB)=空=0
零概率事件與任何事件都是相互獨立的；概率為1的事件與任何事件都是相互獨立。
定理二
*相互獨立和兩兩獨立之間的關係
再推廣：
我們給出一個更一般的結論：
