最大似然估計與最小二乘估計的區別

標籤（空格分隔）： 概率論與數理統計

最小二乘估計

對於最小二乘估計來說，最合理的引數估計量應該使得模型能最好地擬合樣本資料，也就是估計值與觀測值之差的平方和最小。

設Q表示平方誤差，Yi表示估計值，Ŷ i表示觀測值，即Q=∑ni=1(Yi−Ŷ i)2

最大似然估計

對於最大似然估計來說，最合理的引數估計量應該使得從模型中抽取該n組樣本的觀測值的概率最大，也就是概率分佈函式或者似然函式最大。

顯然，最大似然估計需要已知這個概率分佈函式，一般假設其滿足正態分佈函式的特性，在這種情況下，最大似然估計與最小二乘估計是等價的，也就是估計的結果是相同的。
最大似然估計原理：
1. 當給定樣本x

MLE的步驟：
1. 由總體分佈匯出樣本的聯合概率函式（或聯合密度）；
2. 把樣本聯合概率函式的自變數看成是已知常數，而把θ看做是自變數，得到似然函式L(θ);
3. 求似然函式的最大值（常常取對數，然後求駐點）；
4. 用樣本值帶入得到引數的最大似然估計。

例題

設一個有偏的硬幣，拋了100次，出現1次人頭，99次字。問用最大似然估計（ML）和最小均方誤差（LSE）估計出現人頭的概率哪個大？

LSE

設使用LSE估計，出現人頭的概率為θ, 則出現字的概率為1−θ。
已知觀測量為：（觀測到的）出現人頭的概率為1100, （觀測到的）出現字的概率為99100,則由最小二乘估計：
Q(θ)=argminθ∑1001(θ−θ̂ )2=argminθ(1100−θ)2+[99100−(1−θ)]2∗99
令∂Q(θ)∂θ=0,解得θ=1100;

ML

設使用ML估計，所以x服從伯努利分佈，x∼B(朝上,θ),
則概率密度函式為：