上節課我們主要介紹了Decision Tree模型。Decision Tree演算法的核心是通過遞迴的方式，將資料集不斷進行切割，得到子分支，最終形成數的結構。C&RT演算法是決策樹比較簡單和常用的一種演算法，其切割的標準是根據純度來進行，每次切割都是為了讓分支內部純度最大。最終，決策樹不同的分支得到不同的gt(x)$g_t(x)$（即樹的葉子，C&RT演算法中，gt(x)$g_t(x)$是常數）。本節課將介紹隨機森林（Random Forest）演算法，它是我們之前介紹的Bagging和上節課介紹的Decision Tree的結合。

Random Forest Algorithm

首先我們來複習一下之前介紹過的兩個機器學習模型：Bagging和Decision Tree。Bagging是通過bootstrap的方式，從原始的資料集D中得到新的

D^$\hat{D}$；然後再使用一些base algorithm對每個D^$\hat{D}$都得到相應的gt$g_t$；最後將所有的gt$g_t$通過投票uniform的形式組合成一個G，G即為我們最終得到的模型。Decision Tree是通過遞迴形式，利用分支條件，將原始資料集D切割成一個個子樹結構，長成一棵完整的樹形結構。Decision Tree最終得到的G(x)是由相應的分支條件b(x)和分支樹Gc(x)$G_c(x)$遞迴組成。

Bagging和Decison Tree演算法各自有一個很重要的特點。Bagging具有減少不同gt$g_t$的方差variance的特點。這是因為Bagging採用投票的形式，將所有gt$g_t$uniform結合起來，起到了求平均的作用，從而降低variance。而Decision Tree具有增大不同

gt$g_t$的方差variance的特點。這是因為Decision Tree每次切割的方式不同，而且分支包含的樣本數在逐漸減少，所以它對不同的資料D會比較敏感一些，從而不同的D會得到比較大的variance。

所以說，Bagging能減小variance，而Decision Tree能增大variance。如果把兩者結合起來，能否發揮各自的優勢，起到優勢互補的作用呢？這就是我們接下來將要討論的aggregation of aggregation，即使用Bagging的方式把眾多的Decision Tree進行uniform結合起來。這種演算法就叫做隨機森林（Random Forest），它將完全長成的C&RT決策樹通過bagging的形式結合起來，最終得到一個龐大的決策模型。

Random Forest演算法流程圖如下所示：

Random Forest演算法的優點主要有三個。第一，不同決策樹可以由不同主機並行訓練生成，效率很高；第二，隨機森林演算法繼承了C&RT的優點；第三，將所有的決策樹通過bagging的形式結合起來，避免了單個決策樹造成過擬合的問題。

以上是基本的Random Forest演算法，我們再來看一下如何讓Random Forest中決策樹的結構更有多樣性。Bagging中，通過bootstrap的方法得到不同於D的D’，使用這些隨機抽取的資料得到不同的gt$g_t$。除了隨機抽取資料獲得不同gt$g_t$的方式之外，還有另外一種方法，就是隨機抽取一部分特徵。例如，原來有100個特徵，現在只從中隨機選取30個來構成決策樹，那麼每一輪得到的樹都由不同的30個特徵構成，每棵樹都不一樣。假設原來樣本維度是d，則只選擇其中的d’（d’小於d）個維度來建立決策樹結構。這類似是一種從d維到d’維的特徵轉換，相當於是從高維到低維的投影，也就是說d’維z空間其實就是d維x空間的一個隨機子空間（subspace）。通常情況下，d’遠小於d，從而保證演算法更有效率。Random Forest演算法的作者建議在構建C&RT每個分支b(x)的時候，都可以重新選擇子特徵來訓練，從而得到更具有多樣性的決策樹。

所以說，這種增強的Random Forest演算法增加了random-subspace。

上面我們講的是隨機抽取特徵，除此之外，還可以將現有的特徵x，通過陣列p進行線性組合，來保持多樣性：

ϕi(x)=pTix$${\varphi }_i(x)=p_i^{T}x$$

這種方法使每次分支得到的不再是單一的子特徵集合，而是子特徵的線性組合（權重不為1）。好比在二維平面上不止得到水平線和垂直線，也能得到各種斜線。這種做法使子特徵選擇更加多樣性。值得注意的是，不同分支i下的pi$p_i$是不同的，而且向量pi$p_i$中大部分元素為零，因為我們選擇的只是一部分特徵，這是一種低維對映。

所以，這裡的Random Forest演算法又有增強，由原來的random-subspace變成了random-combination。順便提一下，這裡的random-combination類似於perceptron模型。

Out-Of-Bag Estimate

上一部分我們已經介紹了Random Forest演算法，而Random Forest演算法重要的一點就是Bagging。接下來將繼續探討bagging中的bootstrap機制到底蘊含了哪些可以為我們所用的東西。

通過bootstrap得到新的樣本集D’，再由D’訓練不同的gt$g_t$。我們知道D’中包含了原樣本集D中的一些樣本，但也有些樣本沒有涵蓋進去。如下表所示，不同的gt$g_t$下，紅色的表示在D^t${\hat{D}}_t$中沒有這些樣本。例如對g1$g_1$來說，(x2,y2)$(x_2,y_2)$和(x3,y4)$(x_3,y_4)$沒有包含進去，對g2$g_2$來說，(x1,y1)$(x_1,y_1)$和(x2,y2)$(x_2,y_2)$沒有包含進去，等等。每個gt$g_t$中，紅色表示的樣本被稱為out-of-bag(OOB) example。

首先，我們來計算OOB樣本到底有多少。假設bootstrap的數量N’=N，那麼某個樣本(xn,yn)$(x_n,y_n)$是OOB的概率是：

(1−1N)N=1(NN−1)N=1(1+1N−1)N≈1e$$(1-\frac{1}{N}{)}^N=\frac{1}{(\frac{N}{N-1}{)}^N}=\frac{1}{(1+\frac{1}{N-1}{)}^N}\approx \frac{1}{e}$$

其中，e是自然對數，N是原樣本集的數量。由上述推導可得，每個gt$g_t$中，OOB數目大約是1eN$\frac{1}{e}N$，即大約有三分之一的樣本沒有在bootstrap中被抽到。

然後，我們將OOB與之前介紹的Validation進行對比：

在Validation表格中，藍色的

相關推薦

臺灣大學林軒田機器學習技法課程學習筆記1 -- Linear Support Vector Machine

關於臺灣大學林軒田老師的《機器學習基石》課程，我們已經總結了16節課的筆記。這裡附上基石第一節課的部落格地址： 本系列同樣分成16節課，將會介紹《機器學習基石》的進階版《機器學習技法》，更深入地探討機器學習一些高階演算法和技巧。 Large-Marg

臺灣大學林軒田機器學習技法課程學習筆記8 -- Adaptive Boosting

上節課我們主要開始介紹Aggregation Models，目的是將不同的hypothesis得到的gtgt集合起來，利用集體智慧得到更好的預測模型G。首先我們介紹了Blending，blending是將已存在的所有gtgt結合起來，可以是uniformly

臺灣大學林軒田機器學習技法課程學習筆記10 -- Random Forest

上節課我們主要介紹了Decision Tree模型。Decision Tree演算法的核心是通過遞迴的方式，將資料集不斷進行切割，得到子分支，最終形成數的結構。C&RT演算法是決策樹比較簡單和常用的一種演算法，其切割的標準是根據純度來進行，每次切割都

臺灣大學林軒田機器學習基石課程學習筆記8 -- Noise and Error

上一節課，我們主要介紹了VC Dimension的概念。如果Hypotheses set的VC Dimension是有限的，且有足夠多N的資料，同時能夠找到一個hypothesis使它的Ein≈0Ein≈0，那麼就能說明機器學習是可行的。本節課主要講了資料集

臺灣大學林軒田機器學習基石課程學習筆記1 -- The Learning Problem

最近在看NTU林軒田的《機器學習基石》課程，個人感覺講的非常好。整個基石課程分成四個部分： When Can Machine Learn? Why Can Machine Learn? How Can Machine Learn? How Can M

臺灣大學林軒田機器學習基石課程學習筆記6 -- Theory of Generalization

上一節課，我們主要探討了當M的數值大小對機器學習的影響。如果M很大，那麼就不能保證機器學習有很好的泛化能力，所以問題轉換為驗證M有限，即最好是按照多項式成長。然後通過引入了成長函式mH(N)mH(N)和dichotomy以及break point的概念，提出

臺灣大學林軒田《機器學習基石》學習筆記第14講——

上節課我們介紹了過擬合發生的原因：excessive power, stochastic/deterministic noise 和limited data。並介紹瞭解決overfitting的簡單方法。本節課，我們將介紹解決overfitting的另一種非常重

臺灣大學林軒田《機器學習基石》學習筆記第15講—— Validation

上節課我們引入了augmented error，並學習如何通過加入regularizer來限制model complexity，並求得augmented error的最小值。從開始到現在我們已經學習到很多模型，但究竟哪些模型能得到更好的泛化能力呢？這節課我們將來

林軒田--機器學習技法--SVM筆記5--核邏輯迴歸(Kernel+Logistic+Regression)

核邏輯迴歸 這一章節主要敘述的內容是如何使用SVM來做像logistics regression那樣的soft binary classification(輸出正類的概率值)，如何在此基礎上加上核方法。 1. 把SVM看成一種regularization

林軒田--機器學習技法--SVM筆記2--對偶支援向量機（dual+SVM）

對偶支援向量機 咦？怎麼還有關於支援向量機的內容，我們不是在上一講已經將支援向量機解決了麼？怎麼又引入了對偶這個概念？ 1.動機 我們在上一講已經講過，可以使用二次規劃來解決支援向量機的問題。如果現在想要解決非線性的支援向量機的問題，也很簡單，如下圖所

臺大林軒田·機器學習技法記要

6/1/2016 7:42:34 PM 第一講 線性SVM 廣義的SVM，其實就是二次規劃問題 把SVM問題對應到二次規劃的係數 這就是線性SVM，如果想變成非

林軒田機器學習基石入門（二）

上一節中我們主要講到機器學習的應用場景，而這一節主要向大家介紹我們身邊機器學習的例子，讓大家對機器學習有更多的直觀瞭解。 機器學習如今已滲透在我們的日行中，這很讓人驚訝，你每天都能夠接觸到它。 對於人們來說“衣食住行”是每天的基礎要求。 當你肚子餓想

林軒田機器學習基石入門（三）

上一節我們主要向大家介紹我們身邊機器學習的例子，這一節我們將探討機器學習由什麼元素組成（機器學習的模型結構）。 首先我們先看個信用卡的例子。 假設我們想用機器學習來判斷“是否同意貸款給這個客戶？”，我們會將使用者的資訊資料輸給模型（比如年齡，性別，職業，工

臺大林軒田機器學習課程筆記4----訓練 VS. 測試

引言 上一篇講到了在有限的hypotheses下，學習錯誤的發生率，即E_in與E_out不同的概率邊界，本篇將會探討在infinite hypotheses情況下的概率邊界。 線的有效數字（Effective Number of Lines） 我們先將學習劃分為兩個核心的問題

臺大林軒田機器學習課程筆記3----機器學習的可行性

引例 先引入一個矛盾問題： 圖3.1 圖案學習問題 這是一道推理題，根據第一行和第二行圖形的規律分別輸出-1和+1，然後通過上述規則學習推理出第三行圖形的輸出。每個人通過學習所獲得的答案是會不一致的，例如通過對稱的規律可以得到第三行的圖形f=+1，而如果通過圖案

臺大林軒田機器學習課程筆記2----機器學習的分類

1. 根據輸出集合 二分類 根據輸出空間，二分類的輸出結果只有兩種，即y={-1,1}，具體的應用包括： *信用卡申請問題：Client Data=>Accept or Deny 郵件分類問題：Email Text=>Rubbish or Not 病人生病問

臺大林軒田機器學習課程筆記----機器學習初探及PLA演算法

機器學習初探 1、什麼是機器學習 學習指的是一個人在觀察事物的過程中所提煉出的技能，相比於學習，機器學習指的就是讓計算機在一堆資料中通過觀察獲得某些經驗（即數學模型），從而提升某些方面（例如推薦系統的精度）的效能（可測量的）。 2、機器學習使用的條件 需要有規則可以學習 有事先準

林軒田-機器學習基石-作業3-python原始碼

大家好，以下是林軒田機器學習基石--作業3的Python的參考程式碼，自己碼的。Python方面沒有工程經驗，如有錯誤或者更好的程式碼優化方法，麻煩大家留言提醒一下下，大家互相交流學習，謝謝。 13-15題主要考察在分類問題上的線性迴歸和特徵轉換，所使用的樣

林軒田機器學習基石（Machine Learning Foundation）

第一課 機器學習問題 什麼是機器學習？ 什麼是“學習”？學習就是人類通過觀察、積累經驗，掌握某項技能或能力。就好像我們從小學習識別字母、認識漢字，就是學習的過程。而機器學習（Machine Learning），顧名思義，就是讓機器（計算機）也能向人類一樣，通過觀察大量

機器學習技法課程學習筆記11 -- Gradient Boosted Decision Tree

上節課我們主要介紹了Random Forest演算法模型。Random Forest就是通過bagging的方式將許多不同的decision tree組合起來。除此之外，在decision tree中加入了各種隨機性和多樣性，比如不同特徵的線性組合等。RF還可以使用O