iforest 異常值檢測
python 的應用方式：
# IsolationForest 異常值檢測；
from sklearn.ensemble import IsolationForest
def use_iforest_to_get_normal_data(data):
clf = IsolationForest(
# max_samples=100, contamination='auto'
)
clf.fit(data)
prediction_result = clf.predict(data)
df_prediction = pd.DataFrame(prediction_result)
print(df_prediction.head())
#iforest確認離群點返回值兩個分別是1和-1：1：代表不是異常值，-1 代表是異常值；
inline_list = df_prediction[df_prediction[0] == 1].index
return inline_list
這裡返回index下標，然後在通過下標取資料
南大周志華老師在2010年提出一個異常檢測演算法Isolation Forest，在工業界很實用，演算法效果好，時間效率高，能有效處理高維資料和海量資料，這裡對這個演算法進行簡要總結。
iTree
提到森林，自然少不了樹，畢竟森林都是由樹構成的，看Isolation Forest（簡稱iForest）前，我們先來看看Isolation Tree（簡稱iTree）是怎麼構成的，iTree是一種隨機二叉樹，每個節點要麼有兩個女兒，要麼就是葉子節點，一個孩子都沒有。給定一堆資料集D，這裡D的所有屬性都是連續型的變數，iTree的構成過程如下：
- 隨機選擇一個屬性Attr；
- 隨機選擇該屬性的一個值Value；
- 根據Attr對每條記錄進行分類，把Attr小於Value的記錄放在左女兒，把大於等於Value的記錄放在右孩子；
- 然後遞迴的構造左女兒和右女兒，直到滿足以下條件：
- 傳入的資料集只有一條記錄或者多條一樣的記錄；
- 樹的高度達到了限定高度；
iTree構建好了後，就可以對資料進行預測啦，預測的過程就是把測試記錄在iTree上走一下，看測試記錄落在哪個葉子節點。iTree能有效檢測異常的假設是：異常點一般都是非常稀有的，在iTree中會很快被劃分到葉子節點，因此可以用葉子節點到根節點的路徑h(x)長度來判斷一條記錄x是否是異常點；對於一個包含n條記錄的資料集，其構造的樹的高度最小值為log(n)，最大值為n-1，論文提到說用log(n)和n-1歸一化不能保證有界和不方便比較，用一個稍微複雜一點的歸一化公式：
s(x,n)=2(−h(x)c(n))s(x,n)=2(−h(x)c(n))
,
c(n)=2H(n−1)−(2(n−1)/n),其中H(k)=ln(k)+ξ，ξ為尤拉常數c(n)=2H(n−1)−(2(n−1)/n),其中H(k)=ln(k)+ξ，ξ為尤拉常數
s(x,n)s(x,n)就是記錄x在由n個樣本的訓練資料構成的iTree的異常指數，s(x,n)s(x,n)取值範圍為[0,1]，越接近1表示是異常點的可能性高，越接近0表示是正常點的可能性比較高，如果大部分的訓練樣本的s(x,n)都接近於0.5，說明整個資料集都沒有明顯的異常值。
隨機選屬性，隨機選屬性值，一棵樹這麼隨便搞肯定是不靠譜，但是把多棵樹結合起來就變強大了；
iForest
iTree搞明白了，我們現在來看看iForest是怎麼構造的，給定一個包含n條記錄的資料集D，如何構造一個iForest。iForest和Random Forest的方法有些類似，都是隨機取樣一一部分資料集去構造每一棵樹，保證不同樹之間的差異性，不過iForest與RF不同，取樣的資料量PsiPsi不需要等於n，可以遠遠小於n，論文中提到取樣大小超過256效果就提升不大了，明確越大還會造成計算時間的上的浪費，為什麼不像其他演算法一樣，資料越多效果越好呢，可以看看下面這兩個個圖，
左邊是元素資料，右邊是取樣了資料，藍色是正常樣本，紅色是異常樣本。可以看到，在取樣之前，正常樣本和異常樣本出現重疊，因此很難分開，但我們取樣之和，異常樣本和正常樣本可以明顯的分開。
除了限制取樣大小以外，還要給每棵iTree設定最大高度l=ceiling(logΨ2)l=ceiling(log2Ψ)，這是因為異常資料記錄都比較少，其路徑長度也比較低，而我們也只需要把正常記錄和異常記錄區分開來，因此只需要關心低於平均高度的部分就好，這樣演算法效率更高，不過這樣調整了後，後面可以看到計算h(x)h(x)需要一點點改進，先看iForest的虛擬碼：
IForest構造好後，對測試進行預測時，需要進行綜合每棵樹的結果，於是
s(x,n)=2(−E(h(x))c(n))s(x,n)=2(−E(h(x))c(n))
E(h(x))E(h(x))表示記錄x在每棵樹的高度均值，另外h(x)計算需要改進，在生成葉節點時，演算法記錄了葉節點包含的記錄數量，這時候要用這個數量SizeSize估計一下平均高度，h(x)的計算方法如下：
處理高維資料
在處理高維資料時，可以對演算法進行改進，取樣之後並不是把所有的屬性都用上，而是用峰度係數Kurtosis挑選一些有價值的屬性，再進行iTree的構造，這跟隨機森林就更像了，隨機選記錄，再隨機選屬性。
只使用正常樣本
這個演算法本質上是一個無監督學習，不需要資料的類標，有時候異常資料太少了，少到我們只捨得拿這幾個異常樣本進行測試，不能進行訓練，論文提到只用正常樣本構建IForest也是可行的，效果有降低，但也還不錯，並可以通過適當調整取樣大小來提高效果。