一、最大似然估計的基本思想

最大似然估計的基本思想是：從樣本中隨機抽取n個樣本，而模型的引數估計量使得抽取的這n個樣本的觀測值的概率最大。最大似然估計是一個統計方法，它用來求一個樣本集的概率密度函式的引數。

二、似然估計

在講最小二乘法的時候，我們的例子是奧運會男子100m金牌所需要的時間，通過最小二乘法，我們求得了我們的模型引數。但是我們的模型目前預測的只是一個特定的值。實際上，所有的模型都有誤差，也就是噪聲。所以，我們需要思考如何產生與我們觀察到的資料相似的資料。定義新的模型如下：

假設誤差ε是獨立的、連續的、而且服從正態分佈。即上式滿足：

給高斯隨機變數新增一個常量等同於具有相同常量轉換來的均值的另一個高斯隨機變數：

則 p(tn|xn,ω,σ2)=N(ωTxn,σ2), 這裡我們需要確定兩個值: ω,σ2的最優值。

對於給定的ω,tn是獨立的，也就是說觀測值是獨立的。那麼，整個資料集的似然值為：

最大化似然值即最大化似然對數，所以上式等價於求w和σ2的最大似然解使得logL最大。
則通過求解：

求解的過程略過，得到ω

求解最大似然函式的一般步驟為：
1. 寫出似然函式
2. 寫出對數似然函式，並整理
3. 求導數
4. 解似然方程