LR與SVM的相同點：

• *LR和SVM都是分類演算法
• *如果不考慮核函式，LR和SVM都是線性分類演算法，也就是說他們的分類決策面都是線性的。
• *LR和SVM都是監督學習演算法
• *LR和SVM都是判別模型
  –判別模型會生成一個表示p(y|x)的判別函式（或預測模型），
  –生成模型先計算聯合p(y,x)然後通過貝葉斯公式轉化為條件概率。
  –常見的判別模式：KNN、SVM、LR，常見的生成模型有：樸素貝葉斯，隱馬爾可夫模型。
  -*LR和SVM在學術界和工業界都是廣為人知並且應用廣泛。

LR和SVM的不同：

• *本質上是其loss function不同
  –邏輯迴歸的損失函式：
  

  
  –SVM的損失函式：
  
  調整後為：
  
  當C很大時：w為引數的向量表示，b為第0個引數
  
  等價為：
  
  1，問題就變成了一個凸二次規劃問題，可以利用任何現成的QP（二次規劃）的優化包進行求解。
  2，雖然是一個標準的QP問題，但它也有自己的特殊結構，通過拉格朗日對偶變換成對偶變數的優化問題之後，可以更加有效地求解，也比QP優化包更加高效！
  

• *支援向量機只考慮區域性的邊界線附近的點，而邏輯迴歸考慮全域性（遠離的點對邊界線的確定也起作用）。

• *線性SVM依賴資料表達的距離測度，所以需要對資料先做normalization,LR不受其影響
• *SVM的損失函式就自帶正則！！！（損失函式中的1/2||w||^2項），這就是為什麼SVM就是結構風險最小化演算法的原因！！！而LR必須另外在損失函式上新增正則項！！！

一般而言，一個點距離超平面的遠近可以表示為分類預測的確信或準確程度。