1.SVM的基本想法就是求解能正確劃分訓練樣本並且其幾何間隔最大化的超平面。

2.引入對偶演算法求解支援向量機的引數：

對偶問題往往更加容易求解；
可以自然的引用核函式（拉格朗日表達式裡面有內積，而核函式也是通過內積進行對映的）。

3.使用核函式：將輸入特徵（線性不可分）對映到高維特徵空間，可以在高維空間上讓進行線性分類。

4.SMO演算法思想：它選擇凸二次規劃的兩個變數，其它的變數保持不變，然後根據這兩個變數構建一個二次規劃問題，這個二次規劃關於這兩個變數解會更加的接近原始二次規劃的解，通過這樣的子問題劃分可以大大增加整個演算法的計算速度。關於這兩個變數，其中一個是嚴重違反KKT條件的一個變數，另一個變數是根據自由約束確定

5.關於最大化幾何間隔的目標函式中，將函式間隔直接設定為1的理由：

Andrew Ng在CS229中解釋為：為w和b添加了放縮限制，即使w為$2*w$，b為$2*b$，最後的預測值只依據於正負，所以不影響結果。

在尋找幾何間隔最大值的過程中，因為尋找最大幾何間隔和尋找令幾何間隔達到最大的超平面是一回事，所以當給出一個超平面，無論它的幾何間隔是多少，只要是正值（因為是在正負樣本區域中間，所以肯定是正值），我都可以令這個超平面的$||w||=1/\gamma\Rightarrow \hat{\gamma}=1$

或者說給出一個超平面，然後規定它的$\hat{\gamma}=1$，那麼如果它的$\gamma=0.1$，那麼$||w||=10$；如果$\gamma=1$，那麼$||w||=1$，也就是說，$\gamma$越大，||w||越小。既然如此，那麼原先尋找$\gamma$的最大值就變成了尋找$||w||$的最小值，即$\max\gamma$