特征選取2-機器學習中，有哪些特征選擇的工程方法？
https://www.zhihu.com/question/28641663
作者：城東鏈接：https://www.zhihu.com/question/28641663/answer/110165221
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請註明出處。
目錄
1 特征工程是什麽？
2 數據預處理
2.1 無量綱化
2.1.1 標準化
2.1.2 區間縮放法
2.1.3 標準化與歸一化的區別
2.2 對定量特征二值化
2.3 對定性特征啞編碼
2.4 缺失值計算
2.5 數據變換
3 特征選擇
3.1 Filter
3.1.1 方差選擇法
3.1.2 相關系數法
3.1.3 卡方檢驗
3.1.4 互信息法
3.2 Wrapper
3.2.1 遞歸特征消除法
3.3 Embedded
3.3.1 基於懲罰項的特征選擇法
3.3.2 基於樹模型的特征選擇法
4 降維
4.1 主成分分析法（PCA）
4.2 線性判別分析法（LDA）
5 總結
6 參考資料
1 特征工程是什麽？
有這麽一句話在業界廣泛流傳：數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限而已。那特征工程到底是什麽呢？顧名思義，其本質是一項工程活動，目的是最大限度地從原始數據中提取特征以供算法和模型使用。通過總結和歸納，人們認為特征工程包括以下方面：
特征處理是特征工程的核心部分，sklearn提供了較為完整的特征處理方法，包括數據預處理，特征選擇，降維等。首次接觸到sklearn，通常會被其豐富且方便的算法模型庫吸引，但是這裏介紹的特征處理庫也十分強大！
本文中使用sklearn中的IRIS（鳶尾花）數據集來對特征處理功能進行說明。IRIS數據集由Fisher在1936年整理，包含4個特征（Sepal.Length（花萼長度）、Sepal.Width（花萼寬度）、Petal.Length（花瓣長度）、Petal.Width（花瓣寬度）），特征值都為正浮點數，單位為厘米。目標值為鳶尾花的分類（Iris Setosa（山鳶尾）、Iris Versicolour（雜色鳶尾），Iris Virginica（維吉尼亞鳶尾））。導入IRIS數據集的代碼如下：
from sklearn.datasets import load_iris
#導入IRIS數據集
iris = load_iris()
#特征矩陣
iris.data
#目標向量
iris.target
2 數據預處理
通過特征提取，我們能得到未經處理的特征，這時的特征可能有以下問題：
- 不屬於同一量綱：即特征的規格不一樣，不能夠放在一起比較。無量綱化可以解決這一問題。
- 信息冗余：對於某些定量特征，其包含的有效信息為區間劃分，例如學習成績，假若只關心“及格”或不“及格”，那麽需要將定量的考分，轉換成“1”和“0”表示及格和未及格。二值化可以解決這一問題。
- 定性特征不能直接使用：某些機器學習算法和模型只能接受定量特征的輸入，那麽需要將定性特征轉換為定量特征。最簡單的方式是為每一種定性值指定一個定量值，但是這種方式過於靈活，增加了調參的工作。通常使用啞編碼的方式將定性特征轉換為定量特征：假設有N種定性值，則將這一個特征擴展為N種特征，當原始特征值為第i種定性值時，第i個擴展特征賦值為1，其他擴展特征賦值為0。啞編碼的方式相比直接指定的方式，不用增加調參的工作，對於線性模型來說，使用啞編碼後的特征可達到非線性的效果。
- 存在缺失值：缺失值需要補充。
- 信息利用率低：不同的機器學習算法和模型對數據中信息的利用是不同的，之前提到在線性模型中，使用對定性特征啞編碼可以達到非線性的效果。類似地，對定量變量多項式化，或者進行其他的轉換，都能達到非線性的效果。
我們使用sklearn中的preproccessing庫來進行數據預處理，可以覆蓋以上問題的解決方案。
2.1 無量綱化無量綱化使不同規格的數據轉換到同一規格。常見的無量綱化方法有標準化和區間縮放法。標準化的前提是特征值服從正態分布，標準化後，其轉換成標準正態分布。區間縮放法利用了邊界值信息，將特征的取值區間縮放到某個特點的範圍，例如[0, 1]等。
2.1.1 標準化標準化需要計算特征的均值和標準差，公式表達為：
使用preproccessing庫的StandardScaler類對數據進行標準化的代碼如下：
from sklearn.preprocessing import StandardScaler
#標準化，返回值為標準化後的數據
StandardScaler().fit_transform(iris.data)
區間縮放法的思路有多種，常見的一種為利用兩個最值進行縮放，公式表達為：
使用preproccessing庫的MinMaxScaler類對數據進行區間縮放的代碼如下：
from sklearn.preprocessing import MinMaxScaler
#區間縮放，返回值為縮放到[0, 1]區間的數據
MinMaxScaler().fit_transform(iris.data)
簡單來說，標準化是依照特征矩陣的列處理數據，其通過求z-score的方法，將樣本的特征值轉換到同一量綱下。歸一化是依照特征矩陣的行處理數據，其目的在於樣本向量在點乘運算或其他核函數計算相似性時，擁有統一的標準，也就是說都轉化為“單位向量”。規則為l2的歸一化公式如下：
使用preproccessing庫的Normalizer類對數據進行歸一化的代碼如下：
from sklearn.preprocessing import Normalizer
#歸一化，返回值為歸一化後的數據
Normalizer().fit_transform(iris.data)
定量特征二值化的核心在於設定一個閾值，大於閾值的賦值為1，小於等於閾值的賦值為0，公式表達如下：
使用preproccessing庫的Binarizer類對數據進行二值化的代碼如下：
from sklearn.preprocessing import Binarizer
#二值化，閾值設置為3，返回值為二值化後的數據
Binarizer(threshold=3).fit_transform(iris.data)
由於IRIS數據集的特征皆為定量特征，故使用其目標值進行啞編碼（實際上是不需要的）。使用preproccessing庫的OneHotEncoder類對數據進行啞編碼的代碼如下：
from sklearn.preprocessing import OneHotEncoder
#啞編碼，對IRIS數據集的目標值，返回值為啞編碼後的數據
OneHotEncoder().fit_transform(iris.target.reshape((-1,1)))
由於IRIS數據集沒有缺失值，故對數據集新增一個樣本，4個特征均賦值為NaN，表示數據缺失。使用preproccessing庫的Imputer類對數據進行缺失值計算的代碼如下：
from numpy import vstack, array, nan
from sklearn.preprocessing import Imputer
#缺失值計算，返回值為計算缺失值後的數據
#參數missing_value為缺失值的表示形式，默認為NaN
#參數strategy為缺失值填充方式，默認為mean（均值）
Imputer().fit_transform(vstack((array([nan, nan, nan, nan]), iris.data)))
常見的數據變換有基於多項式的、基於指數函數的、基於對數函數的。4個特征，度為2的多項式轉換公式如下：
使用preproccessing庫的PolynomialFeatures類對數據進行多項式轉換的代碼如下：
from sklearn.preprocessing import PolynomialFeatures
#多項式轉換
#參數degree為度，默認值為2
PolynomialFeatures().fit_transform(iris.data)
基於單變元函數的數據變換可以使用一個統一的方式完成，使用preproccessing庫的FunctionTransformer對數據進行對數函數轉換的代碼如下：
from numpy import log1p
from sklearn.preprocessing import FunctionTransformer
#自定義轉換函數為對數函數的數據變換
#第一個參數是單變元函數
FunctionTransformer(log1p).fit_transform(iris.data)
3 特征選擇
當數據預處理完成後，我們需要選擇有意義的特征輸入機器學習的算法和模型進行訓練。通常來說，從兩個方面考慮來選擇特征：
- 特征是否發散：如果一個特征不發散，例如方差接近於0，也就是說樣本在這個特征上基本上沒有差異，這個特征對於樣本的區分並沒有什麽用。
- 特征與目標的相關性：這點比較顯見，與目標相關性高的特征，應當優選選擇。除方差法外，本文介紹的其他方法均從相關性考慮。
根據特征選擇的形式又可以將特征選擇方法分為3種：
- Filter：過濾法，按照發散性或者相關性對各個特征進行評分，設定閾值或者待選擇閾值的個數，選擇特征。
- Wrapper：包裝法，根據目標函數（通常是預測效果評分），每次選擇若幹特征，或者排除若幹特征。
- Embedded：嵌入法，先使用某些機器學習的算法和模型進行訓練，得到各個特征的權值系數，根據系數從大到小選擇特征。類似於Filter方法，但是是通過訓練來確定特征的優劣。
我們使用sklearn中的feature_selection庫來進行特征選擇。
3.1 Filter3.1.1 方差選擇法
使用方差選擇法，先要計算各個特征的方差，然後根據閾值，選擇方差大於閾值的特征。使用feature_selection庫的VarianceThreshold類來選擇特征的代碼如下：
from sklearn.feature_selection import VarianceThreshold
#方差選擇法，返回值為特征選擇後的數據
#參數threshold為方差的閾值
VarianceThreshold(threshold=3).fit_transform(iris.data)
使用相關系數法，先要計算各個特征對目標值的相關系數以及相關系數的P值。用feature_selection庫的SelectKBest類結合相關系數來選擇特征的代碼如下：
from sklearn.feature_selection import SelectKBest
from scipy.stats import pearsonr
#選擇K個最好的特征，返回選擇特征後的數據
#第一個參數為計算評估特征是否好的函數，該函數輸入特征矩陣和目標向量，輸出二元組（評分，P值）的數組，數組第i項為第i個特征的評分和P值。在此定義為計算相關系數
#參數k為選擇的特征個數
SelectKBest(lambda X, Y: array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)
經典的卡方檢驗是檢驗定性自變量對定性因變量的相關性。假設自變量有N種取值，因變量有M種取值，考慮自變量等於i且因變量等於j的樣本頻數的觀察值與期望的差距，構建統計量：
不難發現，這個統計量的含義簡而言之就是自變量對因變量的相關性。用feature_selection庫的SelectKBest類結合卡方檢驗來選擇特征的代碼如下：
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
#選擇K個最好的特征，返回選擇特征後的數據
SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)
經典的互信息也是評價定性自變量對定性因變量的相關性的，互信息計算公式如下：
為了處理定量數據，最大信息系數法被提出，使用feature_selection庫的SelectKBest類結合最大信息系數法來選擇特征的代碼如下：
from sklearn.feature_selection import SelectKBest
from minepy import MINE
#由於MINE的設計不是函數式的，定義mic方法將其為函數式的，返回一個二元組，二元組的第2項設置成固定的P值0.5
def mic(x, y):
m = MINE()
m.compute_score(x, y)
return (m.mic(), 0.5)
#選擇K個最好的特征，返回特征選擇後的數據
SelectKBest(lambda X, Y: array(map(lambda x:mic(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)
3.2.1 遞歸特征消除法
遞歸消除特征法使用一個基模型來進行多輪訓練，每輪訓練後，消除若幹權值系數的特征，再基於新的特征集進行下一輪訓練。使用feature_selection庫的RFE類來選擇特征的代碼如下：
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
#遞歸特征消除法，返回特征選擇後的數據
#參數estimator為基模型
#參數n_features_to_select為選擇的特征個數
RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)
3.3.1 基於懲罰項的特征選擇法
使用帶懲罰項的基模型，除了篩選出特征外，同時也進行了降維。使用feature_selection庫的SelectFromModel類結合帶L1懲罰項的邏輯回歸模型，來選擇特征的代碼如下：
from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LogisticRegression
#帶L1懲罰項的邏輯回歸作為基模型的特征選擇
SelectFromModel(LogisticRegression(penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)
實際上，L1懲罰項降維的原理在於保留多個對目標值具有同等相關性的特征中的一個，所以沒選到的特征不代表不重要。故，可結合L2懲罰項來優化。具體操作為：若一個特征在L1中的權值為1，選擇在L2中權值差別不大且在L1中權值為0的特征構成同類集合，將這一集合中的特征平分L1中的權值，故需要構建一個新的邏輯回歸模型：
from sklearn.linear_model import LogisticRegression
class LR(LogisticRegression):
def __init__(self, threshold=0.01, dual=False, tol=1e-4, C=1.0,
fit_intercept=True, intercept_scaling=1, class_weight=None,
random_state=None, solver=‘liblinear‘, max_iter=100,
multi_class=‘ovr‘, verbose=0, warm_start=False, n_jobs=1):
#權值相近的閾值
self.threshold = threshold
LogisticRegression.__init__(self, penalty=‘l1‘, dual=dual, tol=tol, C=C,
fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight=class_weight,
random_state=random_state, solver=solver, max_iter=max_iter,
multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)
#使用同樣的參數創建L2邏輯回歸
self.l2 = LogisticRegression(penalty=‘l2‘, dual=dual, tol=tol, C=C, fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight = class_weight, random_state=random_state, solver=solver, max_iter=max_iter, multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)
def fit(self, X, y, sample_weight=None):
#訓練L1邏輯回歸
super(LR, self).fit(X, y, sample_weight=sample_weight)
self.coef_old_ = self.coef_.copy()
#訓練L2邏輯回歸