第二章感知機

感知機概念

輸入到輸出空間的對映：f(x) =sign(w*x+b)
sign函式如下：

感知器是一種線性分類器模型，屬於判別模型。
感知機是採用隨機梯度下降，是在所有誤分點中隨機選一個誤差點的梯度下降來跟新其的權重和偏執。

感知機學習演算法原始形式

跟新權重與bias的方法也是梯度下降法：

具體演算法實現步驟如下：

感知機的對偶形式

推導過程：
原始公式中權重與偏執的變化如下：

當w，b初始值設定為0時，上式可以變換為下面的式子，

相當於w,b的迭代跟新轉換到a上，具體如下，而對於a來說，每次迭代增量都是學習率，計算到最後一次後就是累加選中相應樣本的次數*學習率。

感知機模型對偶形式：出現了內積的形式

第三章 k近鄰

概念

K近鄰：利用歐氏距離衡量，計算要預測的點與已知點的距離，選取距離最近的K個樣本點作為參考，接著使用多數表決法從k個最近的樣本點判斷預測點屬於哪個類。多數表決法即K個點中屬於C的類別數目多，支援為C類的多，則判定為C類。

k近鄰演算法的實現——KDTree的構造

實質就是中位數排序，以中位數劃分子樹。如圖所示，首先利用第一維的資料進行中位數選擇，緊接著利用第二維的資料特徵做中位數排序…

k近鄰演算法的實現——KDTree的搜尋

緊接著搜尋樹，有一種2分法的感覺，比線性掃描節省了太多時間！！線性掃描就是輸入一個數對訓練例項的每一個計算距離。。。。。
輸入待檢測點為（2,2,2）

第4章 樸素貝葉斯

基本概念

先驗概率：用P(Bi)表示沒有訓練資料前假設h擁有的初始概率，稱為先驗概率。
後驗概率： P(Bi|A)為後驗概率，給定A時Bi成立的概率，稱為Bi的後驗概率；
貝葉斯公式：

分類問題

假設之前已經統計了兩類的分佈情況，我們可以用p1(x,y)表示資料點(x,y)屬於紅色一類的概率，同時也可以用p2(x,y)表示資料點(x,y)屬於藍色一類的概率。出現一個新的點new_point (x,y)，其分類未知。那要把new_point歸在紅、藍哪一類呢？
一般用貝葉斯公式的分子替代整體：

最大似然估計——求模型引數

給定一堆資料，假如我們知道它是從某一種分佈中隨機取出來的，可是我們並不知道這個分佈具體的參，即“模型已定，引數未知”。例如，我們知道這個分佈是正態分佈，但是不知道均值和方差；或者是二項分佈，但是不知道均值。 最大似然估計（MLE，Maximum Likelihood Estimation）就可以用來估計模型的引數。但是在實際問題中並不都是這樣幸運的，我們能獲得的資料可能只有有限數目的樣本資料，而先驗概率 和類條件概率(各類的總體分佈) 都是未知的。

貝葉斯演算法實現流程

第五章 決策樹