監督學習指的是有目標變數或預測目標的機器學習方法。迴歸與分類的不同，就在於其目標變數是連續數值型。

線性迴歸

• 原理

  迴歸的目的是預測數值型的目標值。最直接的辦法是依據輸入寫出一個目標值的計算公式，該公式就是所謂的迴歸方程（regression equation）。求迴歸方程中的迴歸係數的過程就是迴歸。
  線性迴歸（linear regression）意味著可以將輸入項分別乘以一些常量，再將結果加起來得到輸出。
  線性迴歸的一個問題是有可能出現欠擬合現象，因為它求的是具有最小均方誤差的無偏估計。為了降低預測的均方誤差，可以在估計中引入一些偏差，其中一個方法是區域性加權線性迴歸（Locally Weighted Linear Regression, LWLR）。如果資料的特徵比樣本點還多，也就是說輸入資料的矩陣X不是滿秩矩陣，非滿秩矩陣在求逆時會出現問題。為了解決這個問題，可以使用嶺迴歸（ridge regression）、lasso法、前向逐步迴歸。
  嶺迴歸：在矩陣X

  TX上加一個λI從而使得矩陣非奇異，進而能對XTX+λI求逆。其中矩陣I是一個m*m的單位矩陣，對角線上元素全為1，其他元素全為0。而λ是一個使用者定義的數值。在這種情況下，迴歸係數的計算公式將變成：
  

  w^=(XTX+λI)−1XTy
  嶺迴歸最先用來處理特徵數多餘樣本數的情況，現在也用於在估計中加入偏差，從而得到更好的估計。這裡通過引入λ來限制了所有w之和，通過引入該懲罰項，能夠減少不重要的引數，這個技術在統計學中也叫做縮減（shrinkage）。
  一旦發現模型和測量值之間存在差異，就說出現了誤差。當考慮模型中的“噪聲”或者說誤差時，必須考慮其來源。訓練誤差和測試誤差由三個部分組成：偏差、測量誤差和隨機噪聲。
  方差是可以度量的。取出兩組隨機樣本集並擬合，得到兩組迴歸係數。兩組迴歸係數之間的差異大小就是模型方差大小的反映。

• 如何應用

  收集資料：可以使用任何方法。
  準備資料：迴歸需要數值型資料，標稱型資料將被轉換成二值型資料。
  分析資料：繪出資料的視覺化二維圖將有助於對資料做出理解和分析，在採用縮減法求得新迴歸係數之後，可以將新擬合線繪在圖上作為對比。
  訓練演算法：找到迴歸係數。
  測試演算法：使用 R2 或者預測值和資料的擬合度，來分析模型的效果。
  使用演算法：使用迴歸，可以在給定輸入的時候預測出一個數值，這是對分類方法的提升，因為這樣可以預測連續型資料而不僅僅是離散的類別標籤。

• 優缺點

  優點：結果容易理解，計算上不復雜。
  缺點：對非線性的資料擬合不好。
  適用資料範圍：數值型和標稱型。

• 總結

  在迴歸方程裡，求得特徵對應的最佳迴歸係數的方法是最小化誤差的平方和。給定輸入矩陣X，如果XTX的逆存在並可以求得的話，迴歸法都可以直接使用。資料集上計算出的迴歸方程並不一定意味著它是最佳的，可以使用預測值yHat和原始值y的相關性來度量回歸方程的好壞。
  當資料的樣本數比特徵數還少時，矩陣XTX的逆不能直接計算。即便當樣本數比特徵數多時，XTX的逆仍有可能無法直接計算，這是因為特徵有可能高度相關。這時可以考慮使用嶺迴歸，因為當XTX的逆不能計算時，它仍保證能求得迴歸引數。
  嶺迴歸是縮減法的一種，相當於對迴歸係數的大小施加了限制。另一種很好的縮減法是lasso。Lasso難以求解，但可以使用計算簡便的逐步線性迴歸方法來求得近似結果。
  縮減法還可以看做是對一個模型增加偏差的同時減少方差。偏差方差折中是一個重要的概念，可以幫助我們理解現有模型並做出改進，從而得到更好的模型。

樹迴歸（CART）

• 原理

  CART（Classification And Regression Trees，分類迴歸樹）
  迴歸樹：假設葉節點是常數值，這種策略認為資料中的複雜關係可以用樹結構來概括。為成功構建以分段常數為葉節點的樹，需要度量出資料的一致性。資料集的混亂度即平方誤差的總值（總方差=均方差*樣本個數）。
  模型樹：把葉節點設定為分段線性（piecewise linear）函式。
  通過降低決策樹的複雜度來避免過擬合的過程稱為剪枝（pruning）。

• 如何應用

  收集資料：可以使用任何方法。
  準備資料：迴歸需要數值型資料，標稱型資料將被轉換成二值型資料。
  分析資料：繪出資料的視覺化二維圖，以字典方式生成樹。
  訓練演算法：大部分時間都花費在葉節點樹模型的構建上。
  測試演算法：使用測試資料上的R2值來分析模型的效果。
  使用演算法：使用訓練出的樹做預測，預測結果還可以用來做很多事情。

• 優缺點

  優點：可以對複雜和非線性的資料建模。
  缺點：結果不易理解。
  適用資料範圍：數值型和標稱型。

• 總結

  資料集中經常包含一些複雜的相互關係，使得輸入資料和目標變數之間呈現非線性關係。對這些複雜的關係建模，一種可行的方式是使用樹來對預測值分段，包括分段常數或分段直線。一般採用樹結構來對這種資料建模。相應地，若葉節點使用的模型是分段常數則稱為迴歸樹，若葉節點使用的模型是線性迴歸方程則稱為模型樹。
  CART演算法可以用於構建二元樹並處理離散型或連續型資料的切分。若使用不同的誤差準則，就可以通過CART演算法構建模型樹和迴歸樹。該演算法構建出的樹會傾向於對資料過擬合。一顆過擬合的樹常常十分複雜，剪枝技術的出現就是為了解決這個問題。兩種剪枝方法分別是預剪枝和後剪枝，預剪枝更有效但需要使用者定義一些引數。