1.scikit-learn中的隨機森林

sklearn.ensemble模組中包含兩種基於隨機決策樹的平均演算法：隨機森林演算法和ExtraTrees的方法。這兩種演算法都是專為決策樹設計的包含混合擾動技術的演算法。這意味著分類器依賴著引入隨機性來進行建模。整體的預測結果，來自各個獨立分類器的綜合平均預測結果。

原理：隨機森林，顧名思義，就是用隨機的方式建立一個森林，森林裡面有很多的決策樹組成，隨機森林的每一棵決策樹之間是獨立沒有關聯的。在得到森林之後，當有一個新的輸入樣本進入的時候，就讓森林中的每一棵決策樹分別進行一下判斷，看看這個樣本應該屬於哪一類，然後看看哪一類被選擇最多，就預測這個樣本為那一類。

2.隨機森林演算法quick-start程式碼

#gnu
>>> from sklearn.ensemble import RandomForestClassifier
>>> X = [[0, 0], [1, 1]]
>>> Y = [0, 1]
>>> clf = RandomForestClassifier(n_estimators=10)
>>> clf = clf.fit(X, Y)
#gnu

在這裡，我們建立了一個極其簡單的classifer(分類器)；如決策樹問題一樣，隨機森林的決策樹也可以擴充套件到多輸出問題（如果Y是[ n_samples，n_outputs ]形態規模的陣列）。

3.進階:極端隨機樹：Extremely randomized trees

ET或Extra-Trees（Extremely randomized trees，極端隨機樹）是由PierreGeurts等人於2006年提出。該演算法與隨機森林演算法十分相似，都是由許多決策樹構成。但該演算法與隨機森林有兩點主要的區別：

1、隨機森林應用的是Bagging模型，而ET是使用所有的訓練樣本得到每棵決策樹，也就是每棵決策樹應用的是相同的全部訓練樣本；

2、隨機森林是在一個隨機子集內得到最佳分叉屬性，而ET是完全隨機的得到分叉值，從而實現對決策樹進行分叉的。

>>> from sklearn.model_selection import cross_val_score
>>> from sklearn.datasets import make_blobs
>>> from sklearn.ensemble import RandomForestClassifier
>>> from sklearn.ensemble import ExtraTreesClassifier
>>> from sklearn.tree import DecisionTreeClassifier

>>> X, y = make_blobs(n_samples=10000, n_features=10, centers=100,
...     random_state=0)
#在這裡我們先引入一些訓練資料集

>>> clf = DecisionTreeClassifier(max_depth=None, min_samples_split=2,
...     random_state=0)
#定義一個決策樹分類器
>>> scores = cross_val_score(clf, X, y)
>>> scores.mean()                             
0.97...
#這裡是決策樹的模型精準度得分

>>> clf = RandomForestClassifier(n_estimators=10, max_depth=None,
...     min_samples_split=2, random_state=0)
#定義一個隨機森林分類器
>>> scores = cross_val_score(clf, X, y)
>>> scores.mean()                             
0.999...
#這裡是隨機森林訓練器的模型精確度得分

>>> clf = ExtraTreesClassifier(n_estimators=10, max_depth=None,
...     min_samples_split=2, random_state=0)
#定義一個極端森林分類器
>>> scores = cross_val_score(clf, X, y)
>>> scores.mean() > 0.999
True
#這裡是極端森林訓練器的模型精確度得分，效果優於隨機森林
 

相較於神經網路(更加複雜更加精準，但是速度更慢，計算量很大，不容易構建)，隨機森林演算法還很年輕，有的場合使用，更加快速高效；(我們的訓練資料集資料及其規整乾淨理想，所以才能達到如此高的精確度，現實中是會打折扣的)；