1、特徵選擇

當資料預處理完成後，我們需要選擇有意義的特徵輸入機器學習的演算法和模型進行訓練。通常來說，從兩個方面考慮來選擇特徵：

• 特徵是否發散：如果一個特徵不發散，例如方差接近於0，也就是說樣本在這個特徵上基本上沒有差異，這個特徵對於樣本的區分並沒有什麼用。
• 特徵與目標的相關性：這點比較顯見，與目標相關性高的特徵，應當優選選擇。除方差法外，本文介紹的其他方法均從相關性考慮。

　　根據特徵選擇的形式又可以將特徵選擇方法分為3種：

• Filter：過濾法，按照發散性或者相關性對各個特徵進行評分，設定閾值或者待選擇閾值的個數，選擇特徵。
• Wrapper：包裝法，根據目標函式（通常是預測效果評分），每次選擇若干特徵，或者排除若干特徵。
• Embedded：嵌入法，先使用某些機器學習的演算法和模型進行訓練，得到各個特徵的權值係數，根據係數從大到小選擇特徵。類似於Filter方法，但是是通過訓練來確定特徵的優劣。

　　我們使用sklearn中的feature_selection庫來進行特徵選擇。

#特徵選擇
#1：Filter過濾法：按照發散性或者相關性對各個特徵進行評分，設定閾值或者待選擇閾值的個數，選擇特徵。
#1.1：方差選擇法，先要計算各個特徵的方差，然後根據閾值，選擇方差大於閾值的特徵。
VarianceThreshold(threshold=3).fit_transform(iris.data)
#1.2：相關係數法，先要計算各個特徵對目標值的相關係數以及相關係數的P值。
#選擇K個最好的特徵，返回選擇特徵後的資料
#第一個引數為計算評估特徵是否好的函式，該函式輸入特徵矩陣和目標向量，輸出二元組（評分，P值）的陣列，陣列第i項為第i個特徵的評分和P值。在此定義為計算相關係數
#引數k為選擇的特徵個數
#SelectKBest(lambda X, Y: array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)
#1.3：卡方檢驗是檢驗定性自變數對定性因變數的相關性。
#選擇K個最好的特徵，返回選擇特徵後的資料
SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)
#1。4；互資訊法，評價定性自變數對定性因變數的相關性
#由於MINE的設計不是函式式的，定義mic方法將其為函式式的，返回一個二元組，二元組的第2項設定成固定的P值0.5
'''
'''
def mic(x, y):
    m = MINE()
    m.compute_score(x, y)
    return (m.mic(), 0.5)
#選擇K個最好的特徵，返回特徵選擇後的資料
SelectKBest(lambda X, Y: array(map(lambda x:mic(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)
'''
'''
#2：Wrapper：包裝法，根據目標函式（通常是預測效果評分），每次選擇若干特徵，或者排除若干特徵。
#2.1：遞迴消除特徵法使用一個基模型來進行多輪訓練，每輪訓練後，消除若干權值係數的特徵，再基於新的特徵集進行下一輪訓練。
#遞迴特徵消除法，返回特徵選擇後的資料
#引數estimator為基模型
#引數n_features_to_select為選擇的特徵個數
RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)
#3：Embedded：嵌入法，先使用某些機器學習的演算法和模型進行訓練，得到各個特徵的權值係數，根據係數從大到小選擇特徵。類似於Filter方法，但是是通過訓練來確定特徵的優劣。
#3.1：基於懲罰項的特徵選擇法，使用帶懲罰項的基模型，除了篩選出特徵外，同時也進行了降維。
#帶L1懲罰項的邏輯迴歸作為基模型的特徵選擇
SelectFromModel(LogisticRegression(penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)
#3.2：基於樹模型的特徵選擇法，樹模型中GBDT也可用來作為基模型進行特徵選擇
#GBDT作為基模型的特徵選擇
SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)
 

當特徵選擇完成後，可以直接訓練模型了，但是可能由於特徵矩陣過大，導致計算量大，訓練時間長的問題，因此降低特徵矩陣維度也是必不可少的。常見的降維方法除了以上提到的基於L1懲罰項的模型以外，另外還有主成分分析法（PCA）和線性判別分析（LDA），線性判別分析本身也是一個分類模型。PCA和LDA有很多的相似點，其本質是要將原始的樣本對映到維度更低的樣本空間中，但是PCA和LDA的對映目標不一樣：PCA是為了讓對映後的樣本具有最大的發散性；而LDA是為了讓對映後的樣本有最好的分類效能。所以說PCA是一種無監督的降維方法，而LDA是一種有監督的降維方法。

#降維，PCA和LDA有很多的相似點，其本質是要將原始的樣本對映到維度更低的樣本空間中，但是PCA和LDA的對映目標不一樣：PCA是為了讓對映後的樣本具有最大的發散性；而LDA是為了讓對映後的樣本有最好的分類效能。所以說PCA是一種無監督的降維方法，而LDA是一種有監督的降維方法。
#1:主成分分析法（PCA）
#主成分分析法，返回降維後的資料
#引數n_components為主成分數目
PCA(n_components=2).fit_transform(iris.data)
#2:線性判別分析法（LDA）
#線性判別分析法，返回降維後的資料
#引數n_components為降維後的維數
LDA(n_components=2).fit_transform(iris.data, iris.target)