正態分佈（Normal distribution）與高斯分佈（Gaussian distribution）

正態分佈（Normal distribution）又名高斯分佈（Gaussian distribution），是一個在數學、物理及工程等領域都非常重要的概率分佈，在統計學的許多方面有著重大的影響力。

若隨機變數 $X$ 服從一個數學期望為 $μ$ 、標準方差為 $σ 2$ 的高斯分佈，記為：

X \sim N (μ,σ 2),

$f(x) = {1 \over \sigma\sqrt{2\pi} }\,e^{- {{(x-\mu )^2 \over 2\sigma^2}}}$

正態分佈的期望值 $μ$ 決定了其位置，其標準差 $σ$ 決定了分佈的幅度。因其曲線呈鐘形，因此人們又經常稱之為鐘形曲線。我們通常所說的標準正態分佈是 $μ = 0,σ = 1$ 的正態分佈（見右圖中綠色曲線）。

[編輯]概要

正態分佈是自然科學與行為科學中的定量現象的一個方便模型。各種各樣的心理學測試分數和物理現象比如光子

計數都被發現近似地服從正態分佈。儘管這些現象的根本原因經常是未知的，理論上可以證明如果把許多小作用加起來看做一個變數，那麼這個變數服從正態分佈(在R.N.Bracewell的Fourier transform and its application中可以找到一種簡單的證明)。正態分佈出現在許多區域統計:例如, 取樣分佈均值是近似地正態的，既使被取樣的樣本總體並不服從正態分佈。另外，常態分佈資訊熵在所有的已知均值及方差的分佈中最大，這使得它作為一種均值以及方差已知的分佈的自然選擇。正態分佈是在統計以及許多統計測試中最廣泛應用的一類分佈。在概率論，正態分佈是幾種連續以及離散分佈的極限分佈。

[

編輯]歷史

常態分佈最早是亞伯拉罕·棣莫弗在1734年發表的一篇關於二項分佈文章中提出的。拉普拉斯在1812年發表的《分析概率論》（Theorie Analytique des Probabilites）中對棣莫佛的結論作了擴充套件。現在這一結論通常被稱為棣莫佛－拉普拉斯定理。

拉普拉斯在誤差分析試驗中使用了正態分佈。勒讓德於1805年引入最小二乘法這一重要方法；而高斯則宣稱他早在1794年就使用了該方法，並通過假設誤差服從正態分佈給出了嚴格的證明。

“鐘形曲線”這個名字可以追溯到Jouffret他在1872年首次提出這個術語"鐘形曲面"，用來指代二元正態分佈（bivariate normal

）。正態分佈這個名字還被Charles S. Peirce、Francis Galton、Wilhelm Lexis在1875分佈獨立的使用。這個術語是不幸的，因為它反應和鼓勵了一種謬誤，即很多概率分佈都是正態的。（請參考下面的“例項”）

這個分佈被稱為“正態”或者“高斯”正好是Stigler名字由來法則的一個例子，這個法則說“沒有科學發現是以它最初的發現者命名的”。

[編輯]正態分佈的定義

有幾種不同的方法用來說明一個隨機變數。最直觀的方法是概率密度函式，這種方法能夠表示隨機變數每個取值有多大的可能性。累積分佈函式是一種概率上更加清楚的方法，但是非專業人士看起來不直觀（請看下邊的例子）。還有一些其他的等價方法，例如cumulant、特徵函式、動差生成函式以及cumulant-生成函式。這些方法中有一些對於理論工作非常有用，但是不夠直觀。請參考關於概率分佈的討論。

[編輯]概率密度函式

四個不同引數集的概率密度函式（綠色線代表標準正態分佈）

正態分佈的概率密度函式均值為 $μ$ 方差為 $σ 2$ (或標準差 $σ$ )是高斯函式的一個例項：

$f(x;\mu,\sigma)=\frac{1}{\sigma\sqrt{2\pi}} \, \exp \left( -\frac{(x- \mu)^2}{2\sigma^2} \right)$ 。

(請看指數函式以及 $π$ .)

如果一個隨機變數 $X$ 服從這個分佈，我們寫作 $X$ ~ $N (μ,σ 2)$ . 如果 $μ = 0$ 並且 $σ = 1$ ，這個分佈被稱為標準正態分佈，這個分佈能夠簡化為

$f(x) = \frac{1}{\sqrt{2\pi}} \, \exp\left(-\frac{x^2}{2} \right)$ 。

右邊是給出了不同引數的正態分佈的函式圖。

正態分佈中一些值得注意的量：

密度函式關於平均值對稱
平均值是它的眾數（statistical mode）以及中位數（median）
函式曲線下68.268949%的面積在平均值左右的一個標準差範圍內
95.449974%的面積在平均值左右兩個標準差 $2σ$ 的範圍內
99.730020%的面積在平均值左右三個標準差 $3σ$ 的範圍內
99.993666%的面積在平均值左右四個標準差 $4σ$ 的範圍內
反曲點（inflection point）在離平均值的距離為標準差之處

[編輯]累積分佈函式

上圖所示的概率密度函式的累積分佈函式

累積分佈函式是指隨機變數 $X$ 小於或等於 $x$ 的概率，用密度函式表示為

$F(x;\mu,\sigma)=\frac{1}{\sigma\sqrt{2\pi}}\int_{-\infty}^x \exp \left( -\frac{(x - \mu)^2}{2\sigma^2}\ \right)\, dx.$

正態分佈的累積分佈函式能夠由一個叫做誤差函式的特殊函式表示：

$\Phi(z)=\frac12 \left[1 + \mathrm{erf}\,(\frac{z-\mu}{\sigma\sqrt2})\right] .$

標準正態分佈的累積分佈函式習慣上記為 $Φ$ ，它僅僅是指 $μ = 0$ ， $σ = 1$ 時的值，

$\Phi(x)=F(x;0,1)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^x\exp\left(-\frac{x^2}{2}\right)\, dx.$

將一般正態分佈用誤差函式表示的公式簡化，可得：

$\Phi(z)=\frac{1}{2} \left[ 1 + \operatorname{erf} \left( \frac{z}{\sqrt{2}} \right) \right].$

它的反函式被稱為反誤差函式，為：

$\Phi^{-1}(p)=\sqrt2\;\operatorname{erf}^{-1} \left(2p - 1 \right).$

該分位數函式有時也被稱為probit函式。probit函式已被證明沒有初等原函式。

正態分佈的分佈函式Φ(x)沒有解析表示式，它的值可以通過數值積分、泰勒級數或者漸進序列近似得到。

[編輯]生成函式

[編輯]動差生成函式

動差生成函式被定義為 $exp(tX)$ 的期望值。

正態分佈的矩生成函式如下：

$M_X(t)\,$	$=\mathrm{E}\left( e^{tX}\right)$
$=\int_{-\infty}^{\infty} \frac {1} {\sigma \sqrt{2\pi} } e^{\left( -\frac{(x - \mu)^2}{2 \sigma^2} \right)} e^{tx}\, dx$
$=e^{\left( \mu t + \frac{\sigma^2 t^2}{2}\right)}$

可以通過在指數函式內配平方得到。

[編輯]特徵函式

特徵函式被定義為 $exp(itX)$ 的期望值，其中 $i$ 是虛數單位. 對於一個正態分佈來講，特徵函式是：

$\phi_X(t;\mu,\sigma)\!$	$=\mathrm{E}\left[ \exp(i t X)\right]$
$=\int_{-\infty}^{\infty} \frac{1}{\sigma \sqrt{2\pi}} \exp \left(- \frac{(x - \mu)^2}{2\sigma^2} \right) \exp(i t x)\, dx$
$=\exp\left( i \mu t - \frac{\sigma^2 t^2}{2}\right).$

把矩生成函式中的 $t$ 換成 $it$ 就能得到特徵函式。

[編輯]性質

正態分佈的一些性質:

如果 $X \sim N(\mu, \sigma^2) \,$ 且 $a$ 與 $b$ 是實數，那麼 $aX + b \sim N (a μ + b,(a σ) 2)$ (參見期望值和方差).
如果與是統計獨立的正態隨機變數，那麼:
- 它們的和也滿足正態分佈 $U = X + Y \sim N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y)$ (proof).
- 它們的差也滿足正態分佈 $V = X - Y \sim N(\mu_X - \mu_Y, \sigma^2_X + \sigma^2_Y)$ .
- $U$ 與 $V$ 兩者是相互獨立的。
如果和是獨立正態隨機變數，那麼:
- 它們的積 $XY$ 服從概率密度函式為 $p$ 的分佈
  $p(z) = \frac{1}{\pi\,\sigma_X\,\sigma_Y} \; K_0\left(\frac{|z|}{\sigma_X\,\sigma_Y}\right),$ 其中 $K 0$ 是貝塞爾函式（modified Bessel function）
- 它們的比符合柯西分佈，滿足 $X / Y \simCauchy(0,σ X / σ Y)$ .
如果 $X_1, \cdots, X_n$ 為獨立標準正態隨機變數，那麼 $X_1^2 + \cdots + X_n^2$ 服從自由度為n的卡方分佈。

[編輯]標準化正態隨機變數

[編輯]矩(英文:moment)

一些正態分佈的一階動差如下：

階數	原點矩	中心矩	累積量
0	1	0
1	$μ$	0	$μ$
2	$μ 2 + σ 2$	$σ 2$	$σ 2$
3	$μ 3 + 3μσ 2$	0	0
4	$μ 4 + 6μ 2 σ 2 + 3σ 4$	$3σ 4$	0

正態分佈的所有二階以上的累積量為零。

[編輯]生成正態隨機變數

[編輯]中心極限定理

正態分佈的概率密度函式，引數為μ = 12，σ = 3，趨近於n = 48、p = 1/4的二項分佈的概率質量函式。

正態分佈有一個非常重要的性質：在特定條件下，大量統計獨立的隨機變數的和的分佈趨於正態分佈，這就是中心極限定理。中心極限定理的重要意義在於，根據這一定理的結論，其他概率分佈可以用正態分佈作為近似。

引數為 $n$ 和 $p$ 的二項分佈，在 $n$ 相當大而且 $p$ 不接近1或者0時近似於正態分佈（有的參考書建議僅在 $np$ 與 $n (1 - p)$ 至少為5時才能使用這一近似）。

近似正態分佈平均數為 $μ = np$ 且方差為 $σ 2 = np (1 - p)$ .

一泊松分佈帶有引數 $λ$ 當取樣樣本數很大時將近似正態分佈 $λ$ .

近似正態分佈平均數為 $μ = λ$ 且方差為 $σ 2 = λ$ .

這些近似值是否完全充分正確取決於使用者的使用需求

[編輯]無限可分性

正態分佈是無限可分的概率分佈。

[編輯]穩定性

正態分佈是嚴格穩定的概率分佈。

[編輯]標準偏差

深藍色區域是距平均值小於一個標準差之內的數值範圍。在正態分佈中，此範圍所佔比率為全部數值之68%。根據正態分佈，兩個標準差之內（藍，棕）的比率合起來為95%。根據正態分佈，三個標準差之內（深藍，橙，黃）的比率合起來為99%。

在實際應用上，常考慮一組資料具有近似於正態分佈的概率分佈。若其假設正確，則約68%數值分佈在距離平均值有1個標準差之內的範圍，約95%數值分佈在距離平均值有2個標準差之內的範圍，以及約99.7%數值分佈在距離平均值有3個標準差之內的範圍。稱為"68-95-99.7法則"或"經驗法則".

[編輯]正態測試

[編輯]相關分佈

$R \simRayleigh(σ)$ 是瑞利分佈，如果 $R = \sqrt{X^2 + Y^2}$ ，這裡 $X \sim N (0,σ 2)$ 和 $Y \sim N (0,σ 2)$ 是兩個獨立正態分佈。
$Y \sim \chi_{\nu}^2$ 是卡方分佈具有 $ν$ 自由度，如果 $Y = \sum_{k=1}^{\nu} X_k^2$ 這裡 $X k \sim N (0,1)$ 其中 $k=1,\dots,\nu$ 是獨立的。
$Y \simCauchy(μ = 0,θ = 1)$ 是柯西分佈，如果 $Y = X 1 / X 2$ ，其中 $X 1 \sim N (0,1)$ 並且 $X 2 \sim N (0,1)$ 是兩個獨立的正態分佈。
$Y \simLog-N(μ,σ 2)$ 是對數正態分佈如果 $Y = e X$ 並且 $X \sim N (μ,σ 2)$ .

截斷正態分佈.如果 $X \sim N(\mu, \sigma^2),\!$ ，在 $A$ 以下和 $B$ 以上擷取X 將產生一個平均值 $E(X)=\mu + \frac{\sigma(\varphi_1-\varphi_2)}{T},\!$ 這裡 $T=\Phi\left(\frac{B-\mu}{\sigma}\right)-\Phi\left(\frac{A-\mu}{\sigma}\right), \; \varphi_1 = \varphi\left(\frac{A-\mu}{\sigma}\right), \; \varphi_2 = \varphi\left(\frac{B-\mu}{\sigma}\right)$ ， $φ$ 是一個標準正態隨機變數的密度函式

如果 $X$ 是一個正態分佈的隨機變數, $Y = | X |$ ，那麼 $Y$ 具有摺疊正態分佈.

[編輯]參量估計

[編輯]引數的極大似然估計

[編輯]概念一般化

多元正態分佈的協方差矩陣的估計的推導是比較難於理解的。它需要了解