概率分佈有兩種型別：離散（discrete）概率分佈和連續（continuous）概率分佈。

離散概率分佈也稱為概率質量函式（probability mass function）。離散概率分佈的例子有伯努利分佈（Bernoulli distribution）、二項分佈（binomial distribution）、泊松分佈（Poisson distribution）和幾何分佈（geometric distribution）等。

連續概率分佈也稱為概率密度函式（probability density function），它們是具有連續取值（例如一條實線上的值）的函式。正態分佈（normal distribution）、指數分佈（exponential distribution）和β分佈（beta distribution）等都屬於連續概率分佈。

1、兩點分佈（伯努利分佈）

伯努利試驗：

伯努利試驗是在同樣的條件下重複地、各次之間相互獨立地進行的一種試驗。

即只先進行一次伯努利試驗，該事件發生的概率為p，不發生的概率為1-p。這是一個最簡單的分佈，任何一個只有兩種結果的隨機現象都服從0-1分佈。

最常見的例子為拋硬幣

其中，

期望E = p

方差D = p*(1-p)^{2+(1-p)*(0-p)}2 = p*(1-p)

2、二項分佈（n重伯努利分佈）（X~B(n,p））

即做n個兩點分佈的實驗

其中，

E = np

D = np(1-p)

對於二項分佈，可以參考https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.binom.html

二項分佈的應用場景主要是，對於已知次數n，關心發生k次成功。

，即為二項分佈公式可求。

對於拋硬幣的問題，做100次實驗，觀察其概率分佈函式：

from scipy.stats import binom
import matplotlib as mpl
import matplotlib.pyplot as plt
import numpy as np

## 設定屬性防止中文亂碼
mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = False

首先匯入庫函式以及設定對中文的支援

fig,ax = plt.subplots(1,1)
n = 100
p = 0.5
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = binom.stats(n,p,moments='mvsk')
print mean,var,skew,kurt
#ppf:累積分佈函式的反函式。q=0.01時，ppf就是p(X<x)=0.01時的x值。
x = np.arange(binom.ppf(0.01, n, p),binom.ppf(0.99, n, p))
ax.plot(x, binom.pmf(x, n, p),'o')
plt.title(u'二項分佈概率質量函式')
plt.show()
 

觀察概率分佈圖，可以看到，對於n = 100次實驗中，有50次成功的概率（正面向上）的概率最大。

3、幾何分佈（X ～ GE§）

在n次伯努利實驗中，第k次實驗才得到第一次成功的概率分佈。其中：P(k) = (1-p)^(k-1)*p

E = 1/p 推到方法就是利用利用錯位相減法然後求lim - k ->無窮

D = (1-p)/p^2 推到方法利用了D(x) = E(x)^2-E(x2)，其中E(x^2)求解同上

fig,ax = plt.subplots(1,1)
p = 0.5
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = geom.stats(p,moments='mvsk')
print mean,var,skew,kurt
#ppf:累積分佈函式的反函式。q=0.01時，ppf就是p(X<x)=0.01時的x值。
x = np.arange(geom.ppf(0.01, p),geom.ppf(0.99, p))
ax.plot(x, geom.pmf(x, p),'o')
plt.title(u'幾何分佈概率質量函式')
plt.show()

因此，可以看到，對於拋硬幣問題，拋個兩三次就能成功。

4、泊松分佈（X~P(λ)）

描述單位時間/面積內，隨機事件發生的次數。P(x = k) = λ^k/k!*e(-λ) k = 0,1,2, … λ >0

泊松分佈可作為二項分佈的極限而得到。一般的說，若 ，其中n很大，p很小，因而 不太大時，X的分佈接近於泊松分佈 。

λ：單位時間/面積下，隨機事件的平均發生率

E = λ

D = λ

譬如：某一服務設施一定時間內到達的人數、一個月內機器損壞的次數等。

假設某地區，一年中發生槍擊案的平均次數為2。

fig,ax = plt.subplots(1,1)
mu = 2
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = poisson.stats(mu,moments='mvsk')
print mean,var,skew,kurt
#ppf:累積分佈函式的反函式。q=0.01時，ppf就是p(X<x)=0.01時的x值。
x = np.arange(poisson.ppf(0.01, mu),poisson.ppf(0.99, mu))
ax.plot(x, poisson.pmf(x, mu),'o')
plt.title(u'poisson分佈概率質量函式')
plt.show()

因此，一年內的槍擊案發生次數的分佈如上所示。

與二項分佈對比：

fig,ax = plt.subplots(1,1)

n = 1000
p = 0.1
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = binom.stats(n,p,moments='mvsk')
print mean,var,skew,kurt
#ppf:累積分佈函式的反函式。q=0.01時，ppf就是p(X<x)=0.01時的x值。
x = np.arange(binom.ppf(0.01, n, p),binom.ppf(0.99, n, p))
p1, = ax.plot(x, binom.pmf(x, n, p),'b*',label = 'binom')

mu = n*p
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = poisson.stats(mu,moments='mvsk')
print mean,var,skew,kurt
#ppf:累積分佈函式的反函式。q=0.01時，ppf就是p(X<x)=0.01時的x值。
x = np.arange(poisson.ppf(0.01, mu),poisson.ppf(0.99, mu))
p2, = ax.plot(x, poisson.pmf(x, mu),'ro',label = 'poisson')

plt.legend(handles = [p1, p2])
plt.title(u'對比')
plt.show()在這裡插入程式碼片

5、均勻分佈（X~U(a,b)）

對於隨機變數x的概率密度函式：

則稱隨機變數X服從區間[a,b]上的均勻分佈。

E = 0.5（a+b）

D = （b-a）^2 / 12

均勻分佈在自然情況下極為罕見，而人工栽培的有一定株行距的植物群落即是均勻分佈。這表明X落在[a,b]的子區間內的概率只與子區間長度有關，而與子區間位置無關，因此X落在[a,b]的長度相等的子區間內的可能性是相等的，所謂的均勻指的就是這種等可能性。

落在某一點的概率都是相同的

若[x1,x2]是[a,b]的任一子區間，則

P{x1≤x≤x2}=(x2-x1)/(b-a)

這表明X落在[a,b]的子區間內的概率只與子區間長度有關，而與子區間位置無關。

fig,ax = plt.subplots(1,1)

loc = 1
scale = 1
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = uniform.stats(loc,scale,moments='mvsk')
print mean,var,skew,kurt
#ppf:累積分佈函式的反函式。q=0.01時，ppf就是p(X<x)=0.01時的x值。
x = np.linspace(uniform.ppf(0.01,loc,scale),uniform.ppf(0.99,loc,scale),100)
ax.plot(x, uniform.pdf(x,loc,scale),'b-',label = 'uniform')
plt.title(u'均勻分佈概率密度函式')
plt.show()

6、指數分佈X~ E（λ）

E = 1/λ

D = 1/λ^2

fig,ax = plt.subplots(1,1)

lambdaUse = 2
loc = 0
scale = 1.0/lambdaUse

#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = expon.stats(loc,scale,moments='mvsk')
print mean,var,skew,kurt
#ppf:累積分佈函式的反函式。q=0.01時，ppf就是p(X<x)=0.01時的x值。
x = np.linspace(expon.ppf(0.01,loc,scale),expon.ppf(0.99,loc,scale),100)
ax.plot(x, expon.pdf(x,loc,scale),'b-',label = 'expon')
 
plt.title(u'指數分佈概率密度函式')
plt.show()

指數分佈常用來表示旅客進機場的時間間隔、電子產品的壽命分佈（需要高穩定的產品，現實中要考慮老化的問題）

指數分佈的特性：無記憶性

比如燈泡的使用壽命服從指數分佈，無論他已經使用多長一段時間，假設為s，只要還沒有損壞，它能再使用一段時間t 的概率與一件新產品使用時間t 的概率一樣。

這個證明過程簡單表示：

P(s+t| s) = P(s+t , s)/P(s) = F（s+t）/F（s）=P(t)

7、正態分佈（X~N(μ，σ^2)）

E = μ

D = σ^2

正態分佈是比較常見的，譬如學生考試成績的人數分佈等

fig,ax = plt.subplots(1,1)
 
loc = 1
scale = 2.0
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = norm.stats(loc,scale,moments='mvsk')
print mean,var,skew,kurt
#ppf:累積分佈函式的反函式。q=0.01時，ppf就是p(X<x)=0.01時的x值。
x = np.linspace(norm.ppf(0.01,loc,scale),norm.ppf(0.99,loc,scale),100)
ax.plot(x, norm.pdf(x,loc,scale),'b-',label = 'norm')

plt.title(u'正太分佈概率密度函式')
plt.show()

補充：

大數定理：

隨著樣本的增加，樣本的平均數將接近於總體的平均數，故推斷中，一般會使用樣本平均數估計總體平均數。

大數定律講的是樣本均值收斂到總體均值

中心極限定理：

獨立同分布的事件，具有相同的期望和方差，則事件服從中心極限定理。他表示了對於抽取樣本，n足夠大的時候，樣本分佈符合x~N(μ,σ^2)

中心極限定理告訴我們，當樣本量足夠大時，樣本均值的分佈慢慢變成正態分佈。