統計學習方法的經典研究主題包括：

• 線性迴歸模型
  

• 感知機
  

• k 近鄰法
  

• 樸素貝葉斯法
  

• 決策樹
  

• Logistic 迴歸與最大熵模型
  

• 支援向量機
  

• 提升方法
  

• EM 演算法
  

• 隱馬爾可夫模型
  

• 條件隨機場

之後我將介紹 10 項統計技術，幫助資料科學家更加高效地處理大資料集的統計技術。在此之前，我想先理清統計學習和機器學習的區別：

• 機器學習是偏向人工智慧的分支。
  

• 統計學習方法是偏向統計學的分支。
  

• 機器學習更側重大規模應用和預測準確率。
  

• 統計學習側重模型及其可解釋性，以及精度和不確定性。
  

• 二者之間的區別越來越模糊。

1. 線性迴歸

在統計學中，線性迴歸通過擬合因變數和自變數之間的最佳線性關係來預測目標變數。最佳擬合通過儘量縮小預測的線性表示式和實際觀察結果間的距離總和來實現。沒有其他位置比該形狀生成的錯誤更少，從這個角度來看，該形狀的擬合是"最佳"。線性迴歸的兩個主要型別是簡單線性迴歸和多元線性迴歸。

• 簡單線性迴歸使用一個自變數通過擬合最佳線性關係來預測因變數的變化情況。

• 多元線性迴歸使用多個自變數通過擬合最佳線性關係來預測因變數的變化趨勢。

任意選擇兩個日常使用且相關的物體。比如，我有過去三年月支出、月收入和每月旅行次數的資料。現在我需要回答以下問題：

• 我下一年月支出是多少？
  

• 哪個因素（月收入或每月旅行次數）在決定月支出方面更重要？
  

• 月收入和每月旅行次數與月支出之間是什麼關係？

2. 分類

分類是一種資料探勘技術，為資料分配類別以幫助進行更準確的預測和分析。分類是一種高效分析大型資料集的方法。

兩種主要的分類技術是：logistic 迴歸和判別分析（Discriminant Analysis）。

logistic 迴歸是適合在因變數為二元類別的迴歸分析。和所有迴歸分析一樣，logistic 迴歸是一種預測性分析。logistic 迴歸用於描述資料，並解釋二元因變數和一或多個描述事物特徵的自變數之間的關係。logistic 迴歸可以檢測的問題型別如下：

• 體重每超出標準體重一磅或每天每抽一包煙對得肺癌概率（是或否）的影響。
  

• 卡路里攝入、脂肪攝入和年齡對心臟病是否有影響（是或否）？

在判別分析中，兩個或多個集合和簇等可作為先驗類別，然後根據度量的特徵把一個或多個新的觀察結果分類成已知的類別。判別分析對每個對應類中的預測器分佈 X 分別進行建模，然後使用貝葉斯定理將其轉換成根據 X 的值評估對應類別的概率。此類模型可以是線性判別分析（Linear Discriminant Analysis），也可以是二次判別分析（Quadratic Discriminant Analysis）。

• 線性判別分析（LDA）：為每個觀察結果計算“判別值”來對它所處的響應變數類進行分類。這些分值可以通過找到自變數的線性連線來獲得。它假設每個類別的觀察結果都從多變數高斯分佈中獲取，預測器變數的協方差在響應變數 Y 的所有 k 級別中都很普遍。

• 二次判別分析（QDA）：提供另外一種方法。和 LDA 類似，QDA 假設 Y 每個類別的觀察結果都從高斯分佈中獲取。但是，與 LDA 不同的是，QDA 假設每個類別具備自己的協方差矩陣。也就是說，預測器變數在 Y 的所有 k 級別中不是普遍的。

3. 重取樣方法

重取樣方法（Resampling）包括從原始資料樣本中提取重複樣本。這是一種統計推斷的非引數方法。即，重取樣不使用通用分佈來逼近地計算概率 p 的值。

重取樣基於實際資料生成一個獨特的取樣分佈。它使用經驗性方法，而不是分析方法，來生成該取樣分佈。重取樣基於資料所有可能結果的無偏樣本獲取無偏估計。為了理解重取樣的概念，你應該先了解自助法（Bootstrapping）和交叉驗證（Cross-Validation）：

• 自助法（Bootstrapping）適用於多種情況，如驗證預測性模型的效能、整合方法、偏差估計和模型方差。它通過在原始資料中執行有放回取樣而進行資料取樣，使用"未被選中"的資料點作為測試樣例。我們可以多次執行該操作，然後計算平均值作為模型效能的估計。

• 交叉驗證用於驗證模型效能，通過將訓練資料分成 k 部分來執行。我們將 k-1 部分作為訓練集，"留出"的部分作為測試集。將該步驟重複 k 次，最後取 k 次分值的平均值作為效能估計。

通常對於線性模型而言，普通最小二乘法是擬合數據時主要的標準。下面 3 個方法可以提供更好的預測準確率和模型可解釋性。

4. 子集選擇

該方法將挑選 p 個預測因子的一個子集，並且我們相信該子集和所需要解決的問題十分相關，然後我們就能使用該子集特徵和最小二乘法擬合模型。

• 最佳子集的選擇：我們可以為 p 個預測因子的每個組合擬合單獨的 OLS 迴歸，然後再考察各模型擬合的情況。該演算法分為兩個階段：（1）擬合包含 k 個預測因子的所有模型，其中 k 為模型的最大長度；（2）使用交叉驗證預測損失選擇單個模型。使用驗證或測試誤差十分重要，且不能簡單地使用訓練誤差評估模型的擬合情況，這因為 RSS 和 R^2 隨變數的增加而單調遞增。最好的方法就是通過測試集中最高的 R^2 和最低的 RSS 來交叉驗證地選擇模型。

• 前向逐步地選擇會考慮 p 個預測因子的一個較小子集。它從不含預測因子的模型開始，逐步地新增預測因子到模型中，直到所有預測因子都包含在模型。新增預測因子的順序是根據不同變數對模型擬合效能提升的程度來確定的，我們會新增變數直到再沒有預測因子能在交叉驗證誤差中提升模型。

• 後向逐步選擇先從模型中所有 p 預測器開始，然後迭代地移除用處最小的預測器，每次移除一個。

• 混合法遵循前向逐步方法，但是在新增每個新變數之後，該方法可能還會移除對模型擬合無用的變數。

5. Shrinkage

這種方法涉及到使用所有 p 個預測因子進行建模，然而，估計預測因子重要性的係數將根據最小二乘誤差向零收縮。這種收縮也稱之為正則化，它旨在減少方差以防止模型的過擬合。由於我們使用不同的收縮方法，有一些變數的估計將歸零。因此這種方法也能執行變數的選擇，將變數收縮為零最常見的技術就是 Ridge 迴歸和 Lasso 迴歸。

• Ridge 迴歸非常類似於最小二乘法，只不過它通過最小化一個稍微不同的數值來估計係數。Ridge 迴歸和 OLS 一樣尋求減少 RSS 的係數估計。然而當係數收縮逼近零值時，它們都會對這種收縮排行懲罰。我們不需要數學分析就能看出 Ridge 迴歸很擅長於將特徵收縮到最小的可能空間中。如主成分分析，Ridge 迴歸將資料投影到低維空間，並在係數空間內收縮較低方差的成分而保留有較高方差的成分。

• Ridge 迴歸至少有一個缺點，它需要包含最終模型所有 p 個預測因子，這主要是因為罰項將會令很多預測因子的係數逼近零，但又一定不會等於零。這對於預測準確度來說通常並不是什麼問題，但卻令模型的結果更難以解釋。Lasso 就克服了這一缺點，因為它在 s 足夠小的時候能迫使一些預測因子的係數歸零。因為 s = 1 將導致正規的 OLS 迴歸，而當 s 逼近 0 時，係數將收縮到零。因此 Lasso 迴歸同樣是執行變數選擇的一個好方法。
  

6. 降維

降維演算法將 p+1 個係數的問題簡化為 M+1 個係數的問題，其中 M<p。演算法執行包括計算變數的 M 個不同線性組合或投射（projection）。然後這 M 個投射作為預測器通過最小二乘法擬合一個線性迴歸模型。兩個主要的方法是主成分迴歸（principal component regression）和偏最小二乘法（partial least squares）。

• 主成分迴歸（PCR）可以看成一種從大型變數集合中匯出低維特徵集合的方法。資料中的第一主成分（first principal component）是指觀察資料沿著這個變數方向的變化最大。換言之，第一主成分是最接近擬合數據的線，總共可以用 p 個不同的主成分擬合。第二主成分是和第一主成分不相關的變數的線性組合，且在該約束下有最大的方差。其主要思想是主成分能在各個互相垂直的方向使用資料的線性組合捕捉到最大的方差。使用這種方法，我們還能結合相關變數的效應從資料中獲取更多的資訊，畢竟在常規的最小二乘法中需要捨棄其中一個相關變數。

• 上面描述的 PCR 方法需要提取 X 的線性組合，以獲得預測器的最優表徵。由於 X 的輸出 Y 不能用於幫助決定主成分方向，這些組合（方向）使用無監督方法提取。即，Y 不能監督主成分的提取，從而無法保證這些方向是預測器的最優表徵，也無法保證能獲得最優預測輸出（雖然通常假定如此）。偏最小二乘法（PLS）是一種監督方法，作為 PCR 的代替方法。和 PCR 類似，PLS 也是一種降維方法，它首先提取一個新的較小的特徵集合（原始特徵的線性組合），然後通過最小二乘法將原來的模型擬合為一個新的具有 M 個特徵的線性模型。
  

7. 非線性模型

在統計學中，非線性迴歸屬於一種迴歸分析形式，其中，觀測資料使用模型引數的非線性組合的函式（依賴於一個或多個獨立變數）建模。其使用逐次逼近法擬合數據。下方是幾種處理非線性模型的重要技術。

• 階梯函式（step function），變數為實數，可以寫成區間的指示函式的有限線性組合的形式。非正式的解釋是，階梯函式是一種分段常數函式，只有有限的部分。

• 分段函式（piecewise function）通過多個子函式定義，每一個子函式被定義在主函式定義域的確定的區間上。分段實際上是一種表示函式的方式，而不是函式自身的特徵，但通過額外的限定條件，它可以用於描述函式的本質。例如，一個分段多項式函式是一個在每一個子定義上為多項式的函式，其中每一個多項式都可能是不同的。

• 樣條曲線（spline）是一種用多項式分段定義的特殊函式。在計算機圖形學中，樣條曲線是一種分段多項式引數化曲線。由於結構的簡單性、評估的簡易和高精度、通過曲線擬合和互動曲線設計以逼近複雜曲線的能力，樣條曲線很常用。

• 廣義加性模型（generalized additive model）是一種廣義線性模型，其中線性預測器線性依賴於某些預測器變數的未知平滑函式，其主要作用就是推測這些平滑函式。

8. 基於樹的方法

基於樹的方法可以用於迴歸和分類問題，包括將預測器空間分層或分割成幾個簡單區域。由於用於預測器空間的分離規則集合可以總結為一個樹，這類方法被稱為決策樹方法。以下的方法是幾種不同的樹，它們可以組合起來輸出單個一致的預測。

• bagging 能減少預測的方差，即通過從原始資料中生成額外的資料（通過組合和重複生成和原始資料大小相同的多段資料）用於訓練。通過增大訓練集無法提高模型的預測能力，只能減小方差，仔細地調整預測以得到期望的輸出。

• boosting 是一種計算輸出的方法，即使用多個不同的模型，然後使用加權平均的方法對結果取平均值。我們一般通過改變這些方法所佔的權重而結合各方法的優勢，此外，我們還可以使用不同的精細調整獲得對更寬泛輸入資料的預測能力。

• 隨機森林演算法（random forest algorithm）實際上和 bagging 演算法很相似，同樣是對訓練集提取隨機 bootstrap 樣本。然而，除了 bootstrap 樣本以外，還可以提取特徵的隨機子集以訓練單個樹；而在 bagging 中，需要給每個樹提供整個特徵集。由於特徵選擇是隨機的，相比常規的 bagging 演算法，每個樹之間更加獨立，從而通常能獲得更好的預測效能（得益於更好的方差—偏差權衡）。且計算速度也更快，因為每個樹只需要學習特徵的一個子集。

9. 支援向量機

支援向量機（SVM）是一種常用的監督學習分類技術。通俗地說，它用於尋找對兩類點集做出最佳分離的超平面（hyperplane，在 2D 空間中是線，在 3D 空間中是面，在高維空間中是超平面。更正式的說法是，一個超平面是一個 n 維空間的 n-1 維子空間）。而支援向量機是保留最大的間隔的分離超平面，因此本質上，它是一個約束最優化問題，其中支援向量機的間隔在約束下被最大化，從而完美地對資料進行分類（硬間隔分類器）。

那些"支援"著超平面的資料點被稱為"支援向量"。在上圖中，填充藍色圓和兩個填充方塊就是支援向量。在兩類資料不是線性可分的例子中，資料點將被投射到一個更高維空間中，使得資料變得線性可分。包含多個類別的資料點的問題可以分解成多個"一對一"（one-versus-one）或"一對剩餘"（one-versus-rest）的二分類問題。

10. 無監督學習

目前為止，我們都只討論過監督學習技術，其中資料分類都是已知的，且提供給演算法的經驗都是實體和其分類的關係。當資料的分類是未知的時候，就需要使用另一種技術了。它們被稱為無監督的，因為它們需要自己去發現數據中的模式。聚類（clustring）是無監督學習的一種，其中資料將根據相關性被分為多個群集。下方是幾種最常用的無監督學習演算法：

• 主成分分析：通過保留具備最大方差和互相不相關的特徵之間的線性連線，而幫助生成資料集的低維表示。該線性降維技術有助於理解無監督學習中的隱變數互動。
  

• k 均值聚類：根據資料到叢集中心的距離將其分成 k 個不同的叢集。
  

• 層次聚類：通過資料的層級表示而構建不同的叢集。