線性可分問題的支援向量機學習方法，對線性不可分訓練資料是不適應的，因為這時上一節中不等式約束不能成立，如何擴充套件到線性不可分問題呢？這就需要修改硬間隔最大化，使其成為軟間隔最大化。

通常情況下訓練資料中有一些特異的點，將這些特異的點去處後，剩下的樣本組成的集合是線性可分的。線性不可分的意思就是某些樣本點不能滿足函式間隔大於等於1的約束條件。為了解決這個問題，可以對每個樣本點引入一個鬆弛變數 ,使函式間隔加上加上鬆弛變數大於等於1，這樣約束條件變為：

同時，對每個鬆弛變數 ，支付一個代價 ，目標函式由原來的變為：

這裡的C>0稱為懲罰引數（權重），一般由應用問題決定，C值大時對誤分類的懲罰增大，C值小時對誤分類的懲罰減小。

我們要求的目標函式的最小值，在引進鬆弛變數和懲罰引數有兩個含義

①使儘量小，也就是間隔儘量大，

                                                                                                                   ②同時使得鬆弛變數  儘量小，也就是誤分類的點個數儘量小。​​​​​​​

下面手推導具體的過程：

如若有不對的地方還望指正。