極大似然估計：

在已知樣本和給定概率分佈模型的基礎上，估計概率分佈模型的引數，並使得在該引數下，生成這個已知樣本的可能性最大的方法。
最大似然估計就是去找引數估計值，使得已經觀察到的樣本值發生概率最大。
找到那個引數估計值，使得前面已經實現的樣本值發生概率最大。
求樣本所有觀測的聯合概率最大化，是個連乘積，只要取對數，就變成了線性加總。此時通過對引數求導數，並令一階導數為零，就可以通過解方程，得到最大似然估計值。

最小二乘：最小方差

通過最小化誤差的平方和尋找資料的最佳函式匹配。
簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。
用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。
找到一個估計值，使得實際值與估計值的距離最小。
誤差漸進服從正態之後的最優表現。

最小二乘法是基於最大似然估計推匯出來的

誤差服從高斯分佈的情況下， 最小二乘法等價於極大似然估計。