深度學習中常見分佈-正態分佈和伽瑪分佈

阿新 • • 發佈：2018-12-27

正態分佈（Normal distribution）又名高斯分佈（Gaussian distribution），是一個在數學、物理及工程等領域都非常重要的概率分佈，在統計學的許多方面有著重大的影響力。

若隨機變數 $X$ 服從一個數學期望為 $μ$ 、標準方差為 $σ 2$ 的高斯分佈，記為：

X \sim N (μ,σ 2),

$f(x) = {1 \over \sigma\sqrt{2\pi} }\,e^{- {{(x-\mu )^2 \over 2\sigma^2}}}$

正態分佈的期望值 $μ$ 決定了其位置，其標準差 $σ$ 決定了分佈的幅度。因其曲線呈鐘形，因此人們又經常稱之為鐘形曲線。我們通常所說的標準正態分佈是 $μ = 0,σ = 1$ 的正態分佈（見右圖中綠色曲線）。

正態分佈的概率密度函式均值為 $μ$ 方差為 $σ 2$ (或標準差 $σ$ )是高斯函式的一個例項：

$f(x;\mu,\sigma)=\frac{1}{\sigma\sqrt{2\pi}} \, \exp \left( -\frac{(x- \mu)^2}{2\sigma^2} \right)$ 。

(請看指數函式以及 $π$ .)

如果一個隨機變數 $X$ 服從這個分佈，我們寫作 $X$ ~ $N (μ,σ 2)$ . 如果 $μ = 0$ 並且 $σ = 1$ ，這個分佈被稱為標準正態分佈，這個分佈能夠簡化為

$f(x) = \frac{1}{\sqrt{2\pi}} \, \exp\left(-\frac{x^2}{2} \right)$ 。

右邊是給出了不同引數的正態分佈的函式圖。

正態分佈中一些值得注意的量：

伽瑪分佈

伽瑪分佈（Gamma Distribution）是統計學的一種連續概率函式。Gamma分佈中的引數α稱為形狀引數（shape parameter），β稱為尺度引數（scale parameter）。

實驗定義與概念
假設隨機變數X為等到第α件事發生所需之等候時間, 密度函式為

特徵函式為

Gamma的可加性兩個獨立隨機變數X和Y，且X~Ga(a,γ），Y~Ga(b,γ），則Z = X+Y ~ Ga(a+b,γ）。注意X和Y的尺度引數必須一樣。數學表示式若隨機變數X具有概率密度其中α>0,β>0,則稱隨機變數X服從引數α，β的伽馬分佈，記作G(α,β).

Gamma分佈的特殊形式當形狀引數α=1時，伽馬分佈就是引數為γ的指數分佈，X~Exp（γ）當α=n/2，β=1/2時，伽馬分佈就是自由度為n的卡方分佈，X^2(n)