2. 程式人生 > >簡單易學的機器學習演算法——整合方法(Ensemble Method)

簡單易學的機器學習演算法——整合方法(Ensemble Method)

阿新 • • 發佈：2019-01-04

一、整合學習方法的思想

前面介紹了一系列的演算法，每個演算法有不同的適用範圍，例如有處理線性可分問題的，有處理線性不可分問題。在現實世界的生活中，常常會因為“集體智慧”使得問題被很容易解決，那麼問題來了，在機器學習問題中，對於一個複雜的任務來說，能否將很多的機器學習演算法組合在一起，這樣計算出來的結果會不會比使用單一的演算法效能更好？這樣的思路就是整合學習方法。

       整合學習方法是指組合多個模型，以獲得更好的效果，使整合的模型具有更強的泛化能力。對於多個模型，如何組合這些模型，主要有以下幾種不同的方法：

  1. 在驗證資料集上上找到表現最好的模型作為最終的預測模型；
  2. 對多個模型的預測結果進行投票或者取平均值；
  3. 對多個模型的預測結果做加權平均。
以上的幾種思路就對應了整合學習中的幾種主要的學習框架。

二、整合學習的主要方法

1、強可學習和弱可學習

       在整合學習方法中，是將多個弱模型，通過一定的組合方式，組合成一個強模型。在《統計學習方法》中介紹了“強可學習(strongly learnable)”和“弱可學習(weakly learnable)”的概念。       在概率近似正確(probably approximately correct, PAC)學習的框架中，一個概念(一個類)，如果存在一個多項式的學習演算法能夠學習它，並且正確率很高，那麼就稱這個概念是強可學習的。一個概念，如果存在一個多項式的學習演算法能夠學習它，學習正確率僅比隨機猜測略好，那麼就稱這個概念是弱可學習的。
Schapire指出在PAC學習框架下，一個概念是強可學習的充分必要條件是這個概念是弱可學習的。那麼對於一個學習問題，若是找到“弱學習演算法”，那麼可以將弱學習方法變成“強學習演算法”。

2、在驗證集上找表現最好的模型

       這樣的方法的思想與決策樹的思想類似，在不同的條件下選擇滿足條件的演算法。

3、多個模型投票或者取平均值

       對於資料集訓練多個模型，對於分類問題，可以採用投票的方法，選擇票數最多的類別作為最終的類別，而對於迴歸問題，可以採用取均值的方法，取得的均值作為最終的結果。在這樣的思路里最著名的是Bagging方法.Bagging即Boostrap Aggregating
，其中，Boostrap是一種有放回的抽樣方法，其抽樣策略是簡單的隨機抽樣。       在Bagging方法中，讓學習演算法訓練多次，每次的訓練集由初始的訓練集中隨機取出的個訓練樣本組成，初始的訓練樣本在某次的訓練集中可能出現多次或者根本不出現。最終訓練出個預測函式，最終的預測函式為，對於分類和迴歸問題可採用如下的兩種方法：
  1. 分類問題：採用投票的方法，得票最多的類別為最終的類別
  2. 迴歸問題：採用簡單的平均方法
(圖片來自參考文章2)隨機森林演算法就是基於Bagging思想的學習演算法。

4、對多個模型的預測結果做加權平均

       在上述的Bagging方法中，其特點在於隨機化抽樣，通過反覆的抽樣訓練新的模型，最終在這些模型的基礎上取平均。而在對多個模型的預測結果做加權平均則是將多個弱學習模型提升為強學習模型，這就是Boosting的核心思想。       在Boosting演算法中，初始化時對每個訓練樣本賦予相等的權重，如，然後用該學習演算法對訓練集訓練輪，每次訓練後，對訓練失敗的訓練樣本賦予更大的權重，也就是讓學習演算法在後續的學習中幾種對比較難學的訓練樣本進行學習，從而得到一個預測函式序列，其中每個都有一個權重，預測效果好的預測函式的權重較大。最終的預測函式為對於分類和迴歸問題可採用如下的兩種方法：
  1. 分類問題：有權重的投票方式
  2. 迴歸問題：加權平均
(圖片來自參考文章2)AdaBoost和GBDT(Gradient Boosting Decision Tree)是基於Boosting思想的兩個最著名的演算法。

參考文章

1、《統計學習方法》

相關推薦

簡單易學的機器學習演算法——整合方法(Ensemble Method)

一、整合學習方法的思想前面介紹了一系列的演算法，每個演算法有不同的適用範圍，例如有處理線性可分問題的，有處理線性不可分問題。在現實世界的生活中，常常會因為“集體智慧”使得問題被很容易解決，那麼問題來了，

機器學習演算法--整合學習2--AdaBoost

以《機器學習實戰為例》程式設計實現AdaBoost演算法。 1.AdaBoost演算法原理 Boosting演算法主要基於多個弱學習器來構建強學習器，最終結果由多個弱學習器的加權平均決定，每個基學習器的權重並不相同，每個權重代表對應分類器在上一輪的迭代中成功度。訓練中

機器學習筆記之八—— knn-最簡單的機器學習演算法以及KD樹原理

上一節結束了線性迴歸、邏輯迴歸，今天一節來介紹機器學習中最簡單的演算法：    K近鄰（KNN，全稱K-nearst Neighbor）       概述：判斷一個樣本的label只需要判斷該樣本週圍其他樣本的label。簡言之，朋

機器學習——開啟整合方法的大門，手把手帶你實現AdaBoost模型

本文始發於個人公眾號：**TechFlow**，原創不易，求個關注 今天是機器學習專題的第25篇文章，我們一起來聊聊AdaBoost。 我們目前為止已經學過了好幾個模型，光決策樹的生成演算法就有三種。但是我們每次進行分類的時候，每次都是採用一個模型進行訓練和預測。我們日常在做一個決策的時候，往往會諮詢

簡單易學的機器學習演算法——Softmax Regression

Contents   [hide] 1 簡介 2 代價函式 3 Softmax迴歸模型引數化的特點 4&nbs

簡單易學的機器學習演算法——梯度提升決策樹GBDT

梯度提升決策樹（Gradient Boosting Decision Tree，GBDT）演算法是近年來被提及比較多的一個演算法，這主要得益於其演算法的效能，以及該演算法在各類資料探勘以及機器學習比賽中的卓越表現，有很多人對GBDT演算法進行了開原始碼的開發，比較火的是陳

簡單易學的機器學習演算法——AdaBoost

#coding:UTF-8 ''' Created on 2015年6月15日 @author: zhaozhiyong ''' from numpy import * def loadSimpleData(): datMat = mat([[1., 2.1],

從整合方法到神經網路：自動駕駛技術中的機器學習演算法有哪些？

來源：機器之心 編譯：Lj Linjing、蔣思源 物聯網智庫 原創 轉載請註明來源和出處 ------   【導讀】------ 機器學習演算法可以融合來自車體內外不同感測器的資料，從而評估駕駛員狀況或者對駕駛場景進行分類。本文將粗略講解一下各類用於自動駕駛技術的演算法。 如今，機器

簡單易學的機器學習演算法——K-近鄰演算法

# coding:UTF-8 import cPickle as pickle import gzip import numpy as np def load_data(data_file): with gzip.open(data_file, 'rb') as f: train_set, vali

簡單易學的機器學習演算法——因子分解機(Factorization Machine)

#coding:UTF-8 from __future__ import division from math import exp from numpy import * from random import normalvariate#正態分佈 from datetime import datetime

簡單易學的機器學習演算法——K-Means演算法

一、聚類演算法的簡介    聚類演算法是一種典型的無監督學習演算法，主要用於將相似的樣本自動歸到一個類別中。聚類演算法與分類演算法最大的區別是：聚類演算法是無監督的學習演算法，而分類演算法屬於監督的學習

簡單易學的機器學習演算法——樸素貝葉斯

一、貝葉斯定理     1、條件概率         條件概率是指在事件B發生的情況下，事件A發生的概率，用表示。     2、全概率公式          含義是：如果和構成樣本空間的一個劃分，那麼

簡單易學的機器學習演算法——神經網路之BP神經網路

%% BP的主函式 % 清空 clear all; clc; % 匯入資料 load data; %從1到2000間隨機排序 k=rand(1,2000); [m,n]=sort(k); %輸入輸出資料 input=data(:,2:25); output1 =data(:,1); %把輸出從1維變

簡單易學的機器學習演算法——EM演算法

一、機器學習中的引數估計問題     在前面的博文中，如“簡單易學的機器學習演算法——Logistic迴歸”中，採用了極大似然函式對其模型中的引數進行估計，簡單來講即對於一系列樣本，Logistic迴

簡單易學的機器學習演算法——SVD奇異值分解

一、SVD奇異值分解的定義     假設是一個的矩陣，如果存在一個分解： 其中為的酉矩陣，為的半正定對角矩陣，為的共軛轉置矩陣，且為的酉矩陣。這樣的分解稱為的奇異值分解，對角線上的元素稱為奇異值，稱

簡單易學的機器學習演算法——Gibbs取樣

一、Gibbs取樣概述 前面介紹的Metropolis-Hastings取樣為從指定分佈中進行取樣提供了一個統一的框架，但是取樣的效率依賴於指定的分佈的選擇，若是選擇的不好，會使得接受率比較低，大量的取樣被拒絕，影響到整體的收斂速度。 Gibbs取樣是Met

簡單易學的機器學習演算法——極限學習機(ELM)

一、極限學習機的概念       極限學習機(Extreme Learning Machine) ELM，是由黃廣斌提出來的求解單隱層神經網路的演算法。ELM最大的特點是對於傳統的神經網路，尤其是單隱層

簡單易學的機器學習演算法——Logistic迴歸

一、Logistic迴歸的概述     Logistic迴歸是一種簡單的分類演算法，提到“迴歸”，很多人可能覺得與分類沒什麼關係，Logistic迴歸通過對資料分類邊界的擬合來實現分類。而“迴歸”也就

簡單易學的機器學習演算法——嶺迴歸(Ridge Regression)

一、一般線性迴歸遇到的問題     在處理複雜的資料的迴歸問題時，普通的線性迴歸會遇到一些問題，主要表現在： 預測精度：這裡要處理好這樣一對為題，即樣本的數量和特徵的數量 時，最小二乘迴歸會有較小的

簡單易學的機器學習演算法——分類迴歸樹CART

引言    分類迴歸樹（Classification and Regression Tree，CART）是一種典型的決策樹演算法，CART演算法不僅可以應用於分類問題，而且可以用於迴歸問題。一、樹迴歸的