1. 前言

在機器學習的分類問題領域中，有兩個平分秋色的演算法，就是邏輯迴歸和支援向量機，這兩個演算法個有千秋，在不同的問題中有不同的表現效果，下面我們就對它們的區別和聯絡做一個簡單的總結。

2. LR和SVM的聯絡

1. 都是監督的分類演算法。
2. 都是線性分類方法 (不考慮核函式時）。
3. 都是判別模型。

3. LR和SVM的不同

1. 損失函式的不同，LR是對數損失函式，SVM是hinge損失函式。
2. SVM不能產生概率，LR可以產生概率。
3. SVM自帶結構風險最小化，LR則是經驗風險最小化。
4. SVM會用核函式而LR一般不用核函式。
5. LR和SVM在實際應用的區別：根據經驗來看，對於小規模資料集
   ，SVM的效果要好於LR，但是大資料中，SVM的計算複雜度受到限制，而LR因為訓練簡單，可以線上訓練，所以經常會被大量採用。

4. 概念解釋

• 判別模型：是直接生成一個表示或者的判別函式（或預測模型），SVM和LR，KNN，決策樹都是判別模型，而樸素貝葉斯。
• 生成模型：是先計算聯合概率分佈然後通過貝葉斯公式轉化為條件概率，隱馬爾可夫模型是生成模型。
• 經驗風險：對所有訓練樣本都求一次損失函式，再累加求平均。即，模型\(f(x)\)對訓練樣本中所有樣本的預測能力。
• 期望風險：對所有樣本（包含未知樣本和已知的訓練樣本）的預測能力，是全域性概念。（經驗風險則是區域性概念，僅僅表示決策函式對訓練資料集裡的樣本的預測能力。）
• 結構風險：對經驗風險和期望風險的折中，在經驗風險函式後面加一個正則化項（懲罰項），是一個大於0的係數lamada。J(f)表示的是模型的複雜度。

（歡迎轉載，轉載請註明出處。歡迎溝通交流： [email protected]）