在英語語境裡，likelihood 和 probability 的日常使用是可以互換的，都表示對機會 (chance) 的同義替代。但在數學中，probability 這一指代是有嚴格的定義的，即符合柯爾莫果洛夫公理 (Kolmogorov axioms) 的一種數學物件（換句話說，不是所有的可以用0到1之間的數所表示的物件都能稱為概率）。而 likelihood (function) 這一概念是由Fisher提出，他採用這個詞，也是為了凸顯他所要表述的數學物件既和 probability 有千絲萬縷的聯絡，但又不完全一樣的這一感覺。

中文把它們一個翻譯為概率（probability），一個翻譯為似然（likelihood）也是獨具匠心。

似然函式的定義：

上式中，小x指的是聯合樣本隨機變數X取到的值，即X= x；這裡的θ是指未知引數，它屬於引數空間；而

是一個密度函式，特別地，它表示(給定)θ下關於聯合樣本值x的聯合密度函式。

從定義上，似然函式和密度函式是完全不同的兩個數學物件：前者是關於θ的函式，後者是關於x的函式。所以這裡的等號= 理解為函式值形式的相等，而不是兩個函式本身是同一函式（根據函式相等的定義，函式相等當且僅當定義域相等並且對應關係相等）。

兩者的聯絡：

 如果X是離散隨機變數，那麼其概率密度函式可改寫為：

即代表了在引數為θ下，隨機變數X取到x的可能性。並且，如果我們發現：

那麼似然函式就反應出這樣一個樸素推測：在引數下隨機向量X取到值x的可能性大於在引數下隨機向量X取到值x的可能性。換句話說，我們更有理由相信相對於來說更有可能是真實值。這裡的可能性是由概率來刻畫。

綜上，概率(密度)表達給定下樣本隨機向量X = x的可能性，而似然表達了給定樣本X = x下引數(相對於另外的引數)為真實值的可能性。

最大似然估計：

在已知試驗結果（即是樣本）的情況下，用來估計滿足這些樣本分佈的引數，把可能性最大的那個引數作為真實的引數估計。最大似然估計，最大似然估計是建立在這樣的思想上：已知某個引數能使這個樣本出現的概率最大，我們當然不會再去選擇其他小概率的樣本，所以乾脆就把這個引數作為估計的真實值。

求最大似然函式估計值的一般步驟： 
（1） 寫出似然函式
（2） 對似然函式取對數，並整理
（3） 求導數
（4） 解似然方程

最小二乘法（Least Square ）的解析解可以用 Gaussian 分佈以及最大似然估計求得

首先假設線性迴歸模型具有如下形式：

其中：，，誤差

已知：

，

如何求引數W呢？

如果用最小二乘法的話，有誤差函式：

我們對W求偏導，然後令個偏導 = 0，聯立解方程——這就是最小二乘法求W的過程。

如果用最大似然函式求解的話：

假設誤差服從高斯正態分佈：

也就是說：

則最大似然估計推導：

對上式求偏導然後令個偏導 = 0，聯立解方程。

總結：兩者的結果是一樣的。