線性模型

基本形式

線性模型試圖學得一個通過屬性的線性組合來進行預測的函式，即f(x)=w1x1+w2x2+…+wdxd+b,w和b學得之後，模型就得以確定，而w直觀表達了各屬性在預測中的重要性。

線性迴歸
線性迴歸試圖學得一個線性模型以儘可能準確的預測實值輸出標記。線性迴歸試圖學得f(xi)=wxi+b,使得f(xi)約等於yi。要確定w和b,關鍵在於如何衡量f(x)與y之間的差別，而均方誤差是迴歸任務中最常用的效能度量，因此我們可試圖讓均方誤差最小化。
均方誤差對應了常用的歐氏距離，基於均方誤差最小化來進行模型求解的方法稱為最小二乘法，最小二乘法就是試圖找到一條直線，使所有樣本到直線上的歐氏距離之和最小。

對數機率迴歸
如何使用線性模型進行分類學習，只需找一個單調可微函式將分類任務的真實標記y與線性迴歸模型模型的預測值聯絡起來。這就需要我們將單位階躍函式與對數機率函式聯絡起來。用線性迴歸模型的預測結果去逼近真實標記的對數機率，因此其對應的模型稱為對數機率迴歸。它不僅預測出類別，還可得到近似概率預測，這對許多需利用概率輔助決策的任務很有用。

線性判別分析
線性判別分析（LDA）是一種經典的二分類問題上的線性學習方法：給定訓練樣例集，設法將樣例投影到一條直線上，使得同類樣例的投影點儘可能接近、異類樣例的投影點儘可能遠離；在對新樣本進行分類時，將其投影到同樣的這條直線上，再根據投影點的位置來確定新樣本的類別。
欲使同類樣例的投影點儘可能接近，可以讓同類樣例投影點的協方差儘可能小；欲使異類樣例的投影點儘可能遠離，可以讓類中心的距離儘可能大。同時考慮二者可得到欲最大化的目標J，由類內散度矩陣和類間散度矩陣可重寫J。

多分類學習
多分類學習就是利用二分類學習器來解決多分類問題。我們一般將多分類任務拆分為若干個二分類任務來求解，即拆分為多個二分類任務訓練多個分類器，再將多個分類器進行整合。
拆分策略：一對一（OvO）,一對其餘（OvR）,多對多（MvM）.
OvO把被預測的最多的類別作為最終分類結果，OvR選擇置信度最大的類別標記作為分類結果。OvO和OvR是MvM的特例。一種最常用的MvM技術是糾錯輸出碼，需要編碼和解碼。

類別不平衡問題
類別不平衡是指分類任務中不同類別的訓練樣例數目差別很大的情況。
類別不平衡學習的一個基本策略是再縮放，再縮放三類做法：1.欠取樣。2.過取樣。3.閥值移動。