上節課我們主要開始介紹Aggregation Models，目的是將不同的hypothesis得到的gt$g_t$集合起來，利用集體智慧得到更好的預測模型G。首先我們介紹了Blending，blending是將已存在的所有gt$g_t$結合起來，可以是uniformly，linearly，或者non-linearly組合形式。然後，我們討論了在沒有那麼多gt$g_t$的情況下，使用bootstrap方式，從已有資料集中得到新的類似的資料集，從而得到不同的gt$g_t$。這種做法稱為bagging。本節課將繼續從這些概念出發，介紹一種新的演演算法。

Motivation of Boosting

我們先來看一個簡單的識別蘋果的例子，老師展示20張圖片，讓6歲孩子們通過觀察，判斷其中哪些圖片的內容是蘋果。從判斷的過程中推導如何解決二元分類問題的方法。

顯然這是一個監督式學習，20張圖片包括它的標籤都是已知的。首先，學生Michael回答說：所有的蘋果應該是圓形的。根據Michael的判斷，對應到20張圖片中去，大部分蘋果能被識別出來，但也有錯誤。其中錯誤包括有的蘋果不是圓形，而且圓形的水果也不一定是蘋果。如下圖所示：

上圖中藍色區域的圖片代表分類錯誤。顯然，只用“蘋果是圓形的”這一個條件不能保證分類效果很好。我們把藍色區域（分類錯誤的圖片）放大，分類正確的圖片縮小，這樣在接下來的分類中就會更加註重這些錯誤樣本。

然後，學生Tina觀察被放大的錯誤樣本和上一輪被縮小的正確樣本，回答說：蘋果應該是紅色的。根據Tina的判斷，得到的結果如下圖所示：

上圖中藍色區域的圖片一樣代表分類錯誤，即根據這個蘋果是紅色的條件，使得青蘋果和草莓、西紅柿都出現了判斷錯誤。那麼結果就是把這些分類錯誤的樣本放大化，其它正確的樣本縮小化。同樣，這樣在接下來的分類中就會更加註重這些錯誤樣本。

接著，學生Joey經過觀察又說：蘋果也可能是綠色的。根據Joey的判斷，得到的結果如下圖所示：

上圖中藍色區域的圖片一樣代表分類錯誤，根據蘋果是綠色的條件，使得圖中藍色區域都出現了判斷錯誤。同樣把這些分類錯誤的樣本放大化，其它正確的樣本縮小化，在下一輪判斷繼續對其修正。

後來，學生Jessica又發現：上面有梗的才是蘋果。得到如下結果：

經過這幾個同學的推論，蘋果被定義為：圓的，紅色的，也可能是綠色的，上面有梗。從一個一個的推導過程中，我們似乎得到一個較為準確的蘋果的定義。雖然可能不是非常準確，但是要比單一的條件要好得多。也就是說把所有學生對蘋果的定義融合起來，最終得到一個比較好的對蘋果的總體定義。這種做法就是我們本節課將要討論的演演算法。這些學生代表的就是簡單的hypotheses

gt$g_t$，將所有gt$g_t$融合，得到很好的預測模型G。例如，二維平面上簡單的hypotheses（水平線和垂直線），這些簡單gt$g_t$最終組成的較複雜的分類線能夠較好地將正負樣本完全分開，即得到了好的預測模型。

所以，上個蘋果的例子中，不同的學生代表不同的hypotheses gt$g_t$；最終得到的蘋果總體定義就代表hypothesis G；而老師就代表演演算法A，指導學生的注意力集中到關鍵的例子中（錯誤樣本），從而得到更好的蘋果定義。其中的數學原理，我們下一部分詳細介紹。

Diversity by Re-weighting

在介紹這個演演算法之前，我們先來講一下上節課就介紹過的bagging。Bagging的核心是bootstrapping，通過對原始資料集D不斷進行bootstrap的抽樣動作，得到與D類似的資料集D^t${\hat{D}}_t$，每組D^t${\hat{D}}_t$都能得到相應的gt$g_t$，從而進行aggregation的操作。現在，假如包含四個樣本的D經過bootstrap，得到新的D^t${\hat{D}}_t$如下：

那麼，對於新的D^t${\hat{D}}_t$，把它交給base algorithm，找出Ein$E_{in}$最小時對應的gt$g_t$，如下圖右邊所示。

E0/1in(h)=14∑n=14[y≠h(x)]$$E_{in}^{0/1}(h)=\frac{1}{4}\sum _{n=1}^4[y\ne h(x)]$$

由於D^t${\hat{D}}_t$完全是D經過bootstrap得到的，其中樣本(x1,y1)$(x_1,y_1)$出現2次，(x2,y2)$(x_2,y_2)$出現1次，(x3,y3)$(x_3,y_3)$出現0次，(x4,y4)$(x_4,y_4)$出現1次。引入一個引數ui$u_i$來表示原D中第i個樣本在D^t${\hat{D}}_t$中出現的次數，如下圖左邊所示。

Euin(h)=14∑n=14u(t)n⋅[yn≠h(x)]$$E_{in}^u(h)=\frac{1}{4}\sum _{n=1}^4{u}_n^{(t)}\cdot [y_n\ne h(x)]$$

引數u相當於是權重因子，當D^t${\hat{D}}_t$中第i個樣本出現的次數越多的時候，那麼對應的ui$u_i$越大，表示在error function中對該樣本的懲罰越多。所以，從另外一個角度來看bagging，它其實就是通過bootstrap的方式，來得到這些ui$u_i$值，作為犯錯樣本的權重因子，再用base algorithn最小化包含

相關推薦

臺灣大學林軒田機器學習技法課程學習筆記1 -- Linear Support Vector Machine

關於臺灣大學林軒田老師的《機器學習基石》課程，我們已經總結了16節課的筆記。這裡附上基石第一節課的部落格地址： 本系列同樣分成16節課，將會介紹《機器學習基石》的進階版《機器學習技法》，更深入地探討機器學習一些高階演算法和技巧。 Large-Marg

臺灣大學林軒田機器學習技法課程學習筆記8 -- Adaptive Boosting

上節課我們主要開始介紹Aggregation Models，目的是將不同的hypothesis得到的gtgt集合起來，利用集體智慧得到更好的預測模型G。首先我們介紹了Blending，blending是將已存在的所有gtgt結合起來，可以是uniformly

臺灣大學林軒田機器學習技法課程學習筆記10 -- Random Forest

上節課我們主要介紹了Decision Tree模型。Decision Tree演算法的核心是通過遞迴的方式，將資料集不斷進行切割，得到子分支，最終形成數的結構。C&RT演算法是決策樹比較簡單和常用的一種演算法，其切割的標準是根據純度來進行，每次切割都

臺灣大學林軒田機器學習基石課程學習筆記8 -- Noise and Error

上一節課，我們主要介紹了VC Dimension的概念。如果Hypotheses set的VC Dimension是有限的，且有足夠多N的資料，同時能夠找到一個hypothesis使它的Ein≈0Ein≈0，那麼就能說明機器學習是可行的。本節課主要講了資料集

臺灣大學林軒田機器學習基石課程學習筆記1 -- The Learning Problem

最近在看NTU林軒田的《機器學習基石》課程，個人感覺講的非常好。整個基石課程分成四個部分： When Can Machine Learn? Why Can Machine Learn? How Can Machine Learn? How Can M

臺灣大學林軒田機器學習基石課程學習筆記6 -- Theory of Generalization

上一節課，我們主要探討了當M的數值大小對機器學習的影響。如果M很大，那麼就不能保證機器學習有很好的泛化能力，所以問題轉換為驗證M有限，即最好是按照多項式成長。然後通過引入了成長函式mH(N)mH(N)和dichotomy以及break point的概念，提出

臺灣大學林軒田《機器學習基石》學習筆記第14講——

上節課我們介紹了過擬合發生的原因：excessive power, stochastic/deterministic noise 和limited data。並介紹瞭解決overfitting的簡單方法。本節課，我們將介紹解決overfitting的另一種非常重

臺灣大學林軒田《機器學習基石》學習筆記第15講—— Validation

上節課我們引入了augmented error，並學習如何通過加入regularizer來限制model complexity，並求得augmented error的最小值。從開始到現在我們已經學習到很多模型，但究竟哪些模型能得到更好的泛化能力呢？這節課我們將來

林軒田--機器學習技法--SVM筆記5--核邏輯迴歸(Kernel+Logistic+Regression)

核邏輯迴歸 這一章節主要敘述的內容是如何使用SVM來做像logistics regression那樣的soft binary classification(輸出正類的概率值)，如何在此基礎上加上核方法。 1. 把SVM看成一種regularization

林軒田--機器學習技法--SVM筆記2--對偶支援向量機（dual+SVM）

對偶支援向量機 咦？怎麼還有關於支援向量機的內容，我們不是在上一講已經將支援向量機解決了麼？怎麼又引入了對偶這個概念？ 1.動機 我們在上一講已經講過，可以使用二次規劃來解決支援向量機的問題。如果現在想要解決非線性的支援向量機的問題，也很簡單，如下圖所

臺大林軒田·機器學習技法記要

6/1/2016 7:42:34 PM 第一講 線性SVM 廣義的SVM，其實就是二次規劃問題 把SVM問題對應到二次規劃的係數 這就是線性SVM，如果想變成非

林軒田機器學習基石入門（二）

上一節中我們主要講到機器學習的應用場景，而這一節主要向大家介紹我們身邊機器學習的例子，讓大家對機器學習有更多的直觀瞭解。 機器學習如今已滲透在我們的日行中，這很讓人驚訝，你每天都能夠接觸到它。 對於人們來說“衣食住行”是每天的基礎要求。 當你肚子餓想

林軒田機器學習基石入門（三）

上一節我們主要向大家介紹我們身邊機器學習的例子，這一節我們將探討機器學習由什麼元素組成（機器學習的模型結構）。 首先我們先看個信用卡的例子。 假設我們想用機器學習來判斷“是否同意貸款給這個客戶？”，我們會將使用者的資訊資料輸給模型（比如年齡，性別，職業，工

臺大林軒田機器學習課程筆記4----訓練 VS. 測試

引言 上一篇講到了在有限的hypotheses下，學習錯誤的發生率，即E_in與E_out不同的概率邊界，本篇將會探討在infinite hypotheses情況下的概率邊界。 線的有效數字（Effective Number of Lines） 我們先將學習劃分為兩個核心的問題

臺大林軒田機器學習課程筆記3----機器學習的可行性

引例 先引入一個矛盾問題： 圖3.1 圖案學習問題 這是一道推理題，根據第一行和第二行圖形的規律分別輸出-1和+1，然後通過上述規則學習推理出第三行圖形的輸出。每個人通過學習所獲得的答案是會不一致的，例如通過對稱的規律可以得到第三行的圖形f=+1，而如果通過圖案

臺大林軒田機器學習課程筆記2----機器學習的分類

1. 根據輸出集合 二分類 根據輸出空間，二分類的輸出結果只有兩種，即y={-1,1}，具體的應用包括： *信用卡申請問題：Client Data=>Accept or Deny 郵件分類問題：Email Text=>Rubbish or Not 病人生病問

臺大林軒田機器學習課程筆記----機器學習初探及PLA演算法

機器學習初探 1、什麼是機器學習 學習指的是一個人在觀察事物的過程中所提煉出的技能，相比於學習，機器學習指的就是讓計算機在一堆資料中通過觀察獲得某些經驗（即數學模型），從而提升某些方面（例如推薦系統的精度）的效能（可測量的）。 2、機器學習使用的條件 需要有規則可以學習 有事先準

林軒田-機器學習基石-作業3-python原始碼

大家好，以下是林軒田機器學習基石--作業3的Python的參考程式碼，自己碼的。Python方面沒有工程經驗，如有錯誤或者更好的程式碼優化方法，麻煩大家留言提醒一下下，大家互相交流學習，謝謝。 13-15題主要考察在分類問題上的線性迴歸和特徵轉換，所使用的樣

林軒田機器學習基石（Machine Learning Foundation）

第一課 機器學習問題 什麼是機器學習？ 什麼是“學習”？學習就是人類通過觀察、積累經驗，掌握某項技能或能力。就好像我們從小學習識別字母、認識漢字，就是學習的過程。而機器學習（Machine Learning），顧名思義，就是讓機器（計算機）也能向人類一樣，通過觀察大量

機器學習技法課程學習筆記11 -- Gradient Boosted Decision Tree

上節課我們主要介紹了Random Forest演算法模型。Random Forest就是通過bagging的方式將許多不同的decision tree組合起來。除此之外，在decision tree中加入了各種隨機性和多樣性，比如不同特徵的線性組合等。RF還可以使用O