這是關於PRML第二章的學習筆記。主要從內容思想的理解，具體的理論推導需要結合原文以及概率論的知識。這一章主要講概率分佈，概率分佈的⼀個作⽤是在給定有限次觀測x1, … , xN的前提下，對隨機變數x的概率分佈p(x)建模。這個問題被稱為密度估計，分為二元 多元 高斯 以及先驗分佈 beta 狄利克雷分佈，最後將這些分佈統一到指數簇家族一類中。

引言：概率分佈分為兩個經典學派，頻率學派和貝葉斯學派。 頻率學派關注資料，認為資料是不會說謊的，一切以資料為中心，採用最大似然函式來求取data 的概率。而貝葉斯學派則認為資料是不完全準確的，有些是資料的測量誤差，有些是無法避免的儀器誤差，或者說測量時有其他因素的干擾，總之一句話，資料不完全可信。所以貝葉斯會預設給資料新增一份先驗概率，這是一份經驗知識。而證實貝葉斯有效的就是第一章裡的多項式擬合裡的損失函式。當我們的先驗知識是有效的，貝葉斯會非常有效，一般會是這樣的，但如果先驗知識無效，或者說這種先驗知識是有侷限性條件時，貝葉斯反而會造成更大誤差。比若說投硬幣，預設大家認識的硬幣就是0.5 0.5 的概率，但如果這種硬幣有問題，投硬幣的概率是0.4 0.6，但如果你還是加入0.5 0.5的先驗進去，那就不行了。

一、 二元變數（⼆元隨機變數x ∈ {0, 1}）
1， 伯努利分佈與二項分佈
伯努利分佈(Bernoulli distribution)又名兩點分佈或0-1分佈。伯努利試驗是隻有兩種可能結果的單次隨機試驗，即對於一個隨機變數X而言，x的概率分佈。

二項分佈(Binomial distribution)是n重伯努利試驗成功次數的離散概率分佈。如果試驗E是一個n重伯努利試驗，每次伯努利試驗的成功概率為p，X代表成功的次數，則X的概率分佈是二項分佈，記為X~B(n,p)

2， Beta分佈（二項分佈的先驗分佈）（後驗概率分佈（正⽐於先驗和似然函式的乘積）就會有著與先驗分佈相同的函式形式。這個性質被叫做共軛性（conjugacy））。資料少時用最大似然方法估計引數會過擬合，而貝葉斯方法認為模型引數有一個先驗分佈，因此共軛分佈在貝葉斯方法中很重要，現在看二項式分佈的共軛分佈beta分佈：

二、多項式變數：⼆元變數可以⽤來描述只能取兩種可能值中的某⼀種這樣的量。然⽽，我們經常會遇到可以取K個互斥狀態中的某⼀種的離散變數。
1，多項式分佈：由K個互斥變數的分佈以及最大最大似然估計引入：m1, … ,mK在引數μ和觀測總數N條件下的聯合分佈，多項式分佈：

2， 狄利克雷分佈（多項式的先驗分佈）

三、高斯分佈：
1，高斯分佈的介紹
（1）高斯分佈的定義
⾼斯分佈，也被稱為正態分佈，⼴泛應⽤於連續型隨機變數分佈的模型中。根據中心極限定理，大量隨機變數的和呈正態分佈，這樣解釋了隨機誤差是正態分佈的原因。對於⼀元變數x的情形，⾼斯分佈可以寫成下⾯的形式：

多元高斯分佈：

（2）高斯分佈的幾何理解：也就是我們平時看到的高斯分佈是有一些規則或不規則的等高線表示
先給出樣本到均值的馬氏距離
把協方差矩陣的逆 帶入上式
會得到以協方差矩陣的特徵值平方根為軸長的標準橢圓方程
其中

也就是原來的座標系經過平移和旋轉，由協方差矩陣特徵向量組成的矩陣U負責旋轉座標軸：

（3）介紹了高斯分佈座標變化後的形式，以及高斯分佈的炬，同時分析了高斯分佈的缺點（引數多，單峰）

2，條件高斯分佈和邊緣高斯分佈，同時引出⾼斯變數的貝葉斯定理，這兩個分佈由高斯分佈組成，自身也是高斯分佈。（推導過程使用矩陣的變換完成，具體看原文）：令x中的⼆階項的係數矩陣等於協⽅差矩陣的逆矩陣Σ−1，令x中的線性項的係數等於Σ−1μ，這樣我們就可以得到μ。

3，高斯分佈的引數估計：極大似然估計、順序估計。
極大似然估計就是最大化我們的似然函式。順序估計每次考慮一個數據，通過遞推公式進行引數更新，者更適合於有先驗概率的貝葉斯方法。（同時也給出了一種通用的順序估計方法）

4，高斯分佈的貝葉斯推斷：假定資料集的⾼斯分佈的⽅差是已知的，⽬標是推斷均值，它的先驗分佈是高斯分佈。相反，假設均值是已知的，我們要推斷⽅差，先驗分佈是Gam(λ | aN, bN)的Gamma分佈，

5，混合高斯分佈
通過將更基本的概率分佈（例如⾼斯分佈）進⾏線性組合的這樣的疊加⽅法，可以被形式化為概率模型，被稱為混合模型。⾼斯分佈的線性組合可以給出相當複雜的概率密度形式。考慮K個⾼斯概率密度的疊加，混合高斯模型。

四、指數族分佈：很多分佈包括我們上面提到的二項式分佈、beta分佈、多項式分佈、狄利克雷分佈、高斯分佈都可以轉換成這種指數族的形式：其中η是引數，g(η)是歸一化因子，u(x)是x的函式。

1，指數族分佈的似然估計：

其中，我們收為充分統計量

2，指數族分佈的共軛先驗分佈，以及後驗分佈

3，無資訊先驗：可以尋找⼀種形式的先驗分佈，被稱為⽆資訊先驗。這種先驗分佈的⽬的是儘量對後驗分佈產⽣儘可能⼩的影響。這有時被稱為“讓資料⾃⼰說話”。如果我們有⼀個由引數λ控制的分佈p(x | λ)，那麼我們可以嘗試假設先驗分佈p(λ) = 常數作為⼀個合適的先驗分佈。如果λ是⼀個有K個狀態的離散變數，這就相當於把每種狀態的先驗概率設定為1/K。（分別介紹了平移不變性和縮放不變性兩個例項）

五、非引數化方法：
前面概率分佈都有具體的函式形式，並且由少量的引數控制。這些引數的值可以由資料集確定。這被稱為概率密度建模的引數化（parametric）⽅法。這種⽅法的⼀個重要侷限性是選擇的概率密度可能對於⽣成資料來說，是⼀個很差的模型，從⽽會導致相當差的預測表現。從而提出非引數化方法。

1，密度估計的直方圖方法：簡單地把觀測數量除以觀測的總數N，再除以箱⼦的寬度Δi，得到每個箱⼦的概率的值。第⼀，為了估計在某個特定位置的概率密度，我們應該考慮位於那個點的某個鄰域內的資料點。第⼆，為了獲得好的結果，平滑引數的值既不能太⼤也不能太⼩。

2，核密度估計的方法與近鄰⽅法：密度估計的形式：p(x) =K/NV
我們可以固定K然後從資料中確定V 的值，這就是K近鄰⽅法。我們還可以固定V 然後從資料中確定K，這就是核⽅法。在極限N →∞的情況下，如果V 隨著N⽽合適地收縮，並且K隨著N增⼤，那麼可以證明K近鄰概率密度估計和核⽅法概率密度估計都會收斂到真實的概率密度。
核密度估計方法就是用核函式計數來代替K值。此我們回到區域性概率密度估計的⼀般結果（2.246）。與之前固定V 然後從資料中確定K的值不同，我們考慮固定K的值然後使⽤資料來確定合適的V 值。k鄰近方法，考慮⼀個以x為中⼼的⼩球體，然後我們想估計概率密度p(x)。並且，允許球體的半徑可以⾃由增長，直到它精確地包含K個數據點。這樣，概率密度p(x)的估計就可以得出，其中V 等於最終球體的體積。

k鄰近密度估計可以分析出k鄰近分類為什麼選擇最近k個物件最多分類的型別-最小化錯誤分類的概率