貝葉斯線性迴歸（Bayesian Linear Regression）

關於引數估計

　　　在很多機器學習或資料探勘的問題中，我們面對的只有資料，但資料中潛在的概率密度函式我們是不知道的，我們需要用資料將概率密度分佈估計出來。想要確定資料對應的概率密度分佈，我們需要確定兩個東西：①概率密度函式的形式；②概率密度函式的引數。
　　　一般情況下，都是先假定資料是具有某種概率分佈的，然後再通過資料計算出這些資料對應這個概率分佈所對應的引數是什麼。而常用的引數估計方法有：極大似然估計、最大後驗估計、貝葉斯估計、最大熵估計、混合模型估計。它們之間是遞進關係的，想要理解後一個引數估計方法，最好對前一個引數估計有足夠的理解。因此想要理解貝葉斯線性迴歸，或者叫做貝葉斯引數估計，就必須對極大似然估計、最大後驗估計有清楚的理解。

極大似然估計

　　　首先，以一個分類問題來說明一般引數估計面對的資料形式。考慮一個M類的問題，特徵向量服從p(x|wi),i=1,2,...,M分佈。這是現實情況中最常見的一種資料存在形式，資料集合X是由M個類別的資料子集Xm，m=1，2，...，M組成的，第m個類別的資料子集Xm對應的概率密度函式是p(x|wm)。
　　　前面已經介紹過，想要確定資料的概率分佈，需要知道概率密度函式的形式和引數，這裡首先做一個基本的假設：概率分佈的形式已知，比如，假設每個類別的資料都滿足高斯分佈，那麼似然函式就可以用引數θi的形式表示，這裡θi表示的是類別i對應的引數向量。如果是高斯分佈，則有兩個引數：μ

i和σ2i，也就是說θi=(μi,σ2i)。
　　　為了強調概率分佈p(x|wi)和θi有關，可以將對應的概率密度函式記為p(x|wi;θi)，這裡的極大似然估計對應於一個類條件概率密度函式。所謂“類條件”其實就是以類別為條件的概率密度函式。
　　　從上面的描述可以知道，利用每一個類Xi中已知的特徵向量集合，可以估計出其對應的引數θi。進一步假設每一個類中的資料不影響其它類別的資料的引數估計，那麼上面個M個類別的引數估計就可以用下面這個統一的模型獨立的解決。
　　　設x1,x2,...,xN是從概率密度函式p(x;θ)中隨機抽取的樣本，那麼就可以得到聯合概率密度函式p(X;θ)，其中X=

{x1,x2,...,xN}是樣本集合。假設不同的樣本之間具有統計獨立性，那麼：

p(X;θ)≡p(x1,x2,...,xN;θ)=∏k=1Np(xk;θ)注意：這裡的p(xk;θ)本來的寫法是p(x|wi;θi)，是一個類條件概率密度函式，只是因為這裡是一個統一的模型，所以可以將wi省略。
　　　此時，就可以使用最大似然估計（Maximum Likelihood，ML）來估計引數θ了：θ^ML=argmaxθ∏k=1Np(xk;θ)為了得到最大值，θ^ML必須滿足的必要條件是，似然函式對θ的梯度必須為0，即：∂∏Nk=1p(xk;θ)∂θ=0但是，一般採用的是似然函式的對數形式L(θ)≡ln∏k=1Np(xk;θ) ∂L(θ)

貝葉斯線性迴歸（Bayesian Linear Regression）

關於引數估計

極大似然估計

貝葉斯線性迴歸（Bayesian Linear Regression）

【機器學習】貝葉斯線性迴歸（最大後驗估計+高斯先驗）

簡單線性迴歸（Simple Linear Regression）下

機器學習5 正則化的線性迴歸（Regularized Linear Regression）和偏差對方差（Bias v.s. Variance）

深入理解線性迴歸演算法（三）：淺談貝葉斯線性迴歸

貝葉斯線性迴歸簡介（附完整程式碼）

【機器學習】貝葉斯線性迴歸模型

入門 | 貝葉斯線性迴歸方法的解釋和優點

貝葉斯線性迴歸/貝葉斯脊迴歸

樸素貝葉斯分類器（Naive Bayes Classifiers）

機器學習：貝葉斯網淺析（附程式碼實現）

常用分類問題的演算法-樸素貝葉斯分類器（Naive Bayes Classifiers）

貝葉斯分類器（含MATLAB實現）

淺析高斯過程迴歸（Gaussian process regression）

機器學習系列——樸素貝葉斯分類器（二）

機器學習：貝葉斯分類器（二）——高斯樸素貝葉斯分類器代碼實現

機器學習---樸素貝葉斯分類器（Machine Learning Naive Bayes Classifier）

樸素貝葉斯算法（Naive Bayes）

哈爾濱工業大學計算機學院-模式識別-課程總結-貝葉斯決策理論（一）

《機器學習》周志華學習筆記第七章貝葉斯分類器（課後習題）python 實現

貝葉斯線性迴歸（Bayesian Linear Regression）

關於引數估計

極大似然估計

相關推薦