先驗概率

Prior probability

在貝葉斯統計中，先驗概率分佈，即關於某個變數 p 的概率分佈，是在獲得某些資訊或者依據前，對 p 的不確定性進行猜測。例如， p 可以是搶火車票開始時，搶到某一車次的概率。這是對不確定性（而不是隨機性）賦予一個量化的數值的表徵，這個量化數值可以是一個引數，或者是一個潛在的變數。

先驗概率僅僅依賴於主觀上的經驗估計，也就是事先根據已有的知識的推斷，

在應用貝葉斯理論時，通常將先驗概率乘以似然函式（likelihoodfunction）再歸一化後，得到後驗概率分佈，後驗概率分佈即在已知給定的資料後，對不確定性的條件分佈。

似然函式

似然函式（likelihood function），也稱作似然，是一個關於統計模型引數的函式。也就是這個函式中自變數是統計模型的引數。對於結果 x ，在引數集合 θ 上的似然，就是在給定這些引數值的基礎上，觀察到的結果的概率 L(θ|x)=P(x|θ) 。也就是說，似然是關於引數的函式，在引數給定的條件下，對於觀察到的 x 的值的條件分佈。

似然函式在統計推測中發揮重要的作用，因為它是關於統計引數的函式，所以可以用來評估一組統計的引數，也就是說在一組統計方案的引數中，可以用似然函式做篩選。在非正式的語境下，“似然”會和“概率”混著用；但是嚴格區分的話，在統計上，二者是有不同。

不同就在於，觀察值 x 與引數 θ 的不同的角色。概率是用於描述一個函式，這個函式是在給定引數值的情況下的關於觀察值的函式。例如，已知一個硬幣是均勻的（在拋落中，正反面的概率相等），那連續10次正面朝上的概率是多少？這是個概率。

而似然是用於在給定一個觀察值時，關於用於描述引數的情況。例如，如果一個硬幣在10次拋落中正面均朝上，那硬幣是均勻的（在拋落中，正反面的概率相等）概率是多少？這裡用了概率這個詞，但是實質上是“可能性”，也就是似然了。

後驗概率

後驗概率是關於隨機事件或者不確定性斷言的條件概率，是在相關證據或者背景給定並納入考慮之後的條件概率。後驗概率分佈就是未知量作為隨機變數的概率分佈，並且是在基於實驗或者調查所獲得的資訊上的條件分佈。“後驗”在這裡意思是，考慮相關事件已經被檢視並且能夠得到一些資訊。

後驗概率是關於引數 θ 在給定的證據資訊 X 下的概率： p(θ|x) 。

若對比後驗概率和似然函式，似然函式是在給定引數下的證據資訊 X 的概率分佈： p(x|θ) 。