剛開始學機器學習，總是碰到這兩個概念，每次看一遍解析，過幾天忘一遍，覺得知乎上的大神講的比較透徹，搬運過來，方便自己以後忘了重新看一看。

最大似然估計：現在已經拿到了很多個樣本（你的資料集中所有因變數），這些樣本值已經實現，最大似然估計就是去找到那個（組）引數估計值，使得前面已經實現的樣本值發生概率最大。因為你手頭上的樣本已經實現了，其發生概率最大才符合邏輯。這時是求樣本所有觀測的聯合概率最大化，是個連乘積，只要取對數，就變成了線性加總。此時通過對引數求導數，並令一階導數為零，就可以通過解方程（組），得到最大似然估計值。

最小二乘：找到一個（組）估計值，使得實際值與估計值的距離最小。本來用兩者差的絕對值彙總並使之最小是最理想的，但絕對值在數學上求最小值比較麻煩，因而替代做法是，找一個（組）估計值，使得實際值與估計值之差的平方加總之後的值最小，稱為最小二乘。“二乘”的英文為least square，其實英文的字面意思是“平方最小”。這時，將這個差的平方的和式對引數求導數，並取一階導數為零，就是OLSE。