支援向量機的優勢在於:

• 在高維空間中非常高效.即使在資料維度比樣本數量大的情況下仍然有效.
• 在決策函式（稱為支援向量）中使用訓練集的子集,因此它也是高效利用記憶體的.
• 通用性: 不同的核函式與特定的決策函式一一對應.常見的 kernel 已經提供,也可以指定定製的核心.

支援向量機的缺點包括:

• 如果特徵數量比樣本數量大得多,在選擇核函式時要避免過擬合,而且正則化項是非常重要的.
• 支援向量機不直接提供概率估計,這些都是使用昂貴的五次交叉驗算計算的. (詳情見 Scores and probabilities, 在下文中).

sklearn.svm模組提供了很多模型供我們使用。

SVC

SVC用於分類：支援向量分類，基於libsvm實現的，資料擬合的時間複雜度是資料樣本的二次方，這使得他很難擴充套件到10000個數據集，當輸入是多類別時（SVM最初是處理二分類問題的），通過一對一的方案解決，當然也有別的解決辦法。

SVC引數說明如下：

C：懲罰項，float型別，可選引數，預設為1.0，C越大，即對分錯樣本的懲罰程度越大，因此在訓練樣本中準確率越高，但是泛化能力降低，也就是對測試資料的分類準確率降低。相反，減小C的話，容許訓練樣本中有一些誤分類錯誤樣本，泛化能力強。對於訓練樣本帶有噪聲的情況，一般採用後者，把訓練樣本集中錯誤分類的樣本作為噪聲。

kernel：核函式型別，str型別，預設為’rbf’。可選引數為：

• ‘linear’：線性核函式
• ‘poly’：多項式核函式
• ‘rbf’：徑像核函式/高斯核
• ‘sigmod’：sigmod核函式
• ‘precomputed’：核矩陣。precomputed表示自己提前計算好核函式矩陣，這時候演算法內部就不再用核函式去計算核矩陣，而是直接用你給的核矩陣，核矩陣需要為n*n的。

degree：多項式核函式的階數，int型別，可選引數，預設為3。這個引數只對多項式核函式有用，是指多項式核函式的階數n，如果給的核函式引數是其他核函式，則會自動忽略該引數。

gamma：核函式係數，float型別，可選引數，預設為auto。只對’rbf’ ,’poly’ ,’sigmod’有效。如果gamma為auto，代表其值為樣本特徵數的倒數，即1/n_features。
coef0：核函式中的獨立項，float型別，可選引數，預設為0.0。只有對’poly’ 和,’sigmod’核函式有用，是指其中的引數c。

probability：是否啟用概率估計，bool型別，可選引數，預設為False，這必須在呼叫fit()之前啟用，並且會fit()方法速度變慢。

shrinking：是否採用啟發式收縮方式，bool型別，可選引數，預設為True。

tol：svm停止訓練的誤差精度，float型別，可選引數，預設為1e^-3。

cache_size：記憶體大小，float型別，可選引數，預設為200。指定訓練所需要的記憶體，以MB為單位，預設為200MB。

class_weight：類別權重，dict型別或str型別，可選引數，預設為None。給每個類別分別設定不同的懲罰引數C，如果沒有給，則會給所有類別都給C=1，即前面引數指出的引數C。如果給定引數’balance’，則使用y的值自動調整與輸入資料中的類頻率成反比的權重。

verbose：是否啟用詳細輸出，bool型別，預設為False，此設定利用libsvm中的每個程序執行時設定，如果啟用，可能無法在多執行緒上下文中正常工作。一般情況都設為False，不用管它。

max_iter：最大迭代次數，int型別，預設為-1，表示不限制。

decision_function_shape：決策函式型別，可選引數’ovo’和’ovr’，預設為’ovr’。’ovo’表示one vs one，’ovr’表示one vs rest。

random_state：資料洗牌時的種子值，int型別，可選引數，預設為None。偽隨機數發生器的種子,在混洗資料時用於概率估計。

NuSVC

NuSVC（Nu-Support Vector Classification.）：核支援向量分類，和SVC類似，也是基於libsvm實現的，但不同的是通過一個引數空值支援向量的個數。

• nu：訓練誤差的一個上界和支援向量的分數的下界。應在間隔（0，1 ]。
• 其餘同SVC

LinearSVC

LinearSVC（Linear Support Vector Classification）：線性支援向量分類，類似於SVC，但是其使用的核函式是”linear“上邊介紹的兩種是按照brf（徑向基函式計算的，其實現也不是基於LIBSVM，所以它具有更大的靈活性在選擇處罰和損失函式時，而且可以適應更大的資料集，他支援密集和稀疏的輸入是通過一對一的方式解決的。

LinearSVC 引數解釋

C：目標函式的懲罰係數C，用來平衡分類間隔margin和錯分樣本的，default C = 1.0；
loss：指定損失函式
penalty ：
dual ：選擇演算法來解決對偶或原始優化問題。當nsamples>nfeatures$n_{samples}>n_{features}$ 時dual=false。
tol ：（default = 1e - 3）: svm結束標準的精度;
multi_class：如果y輸出類別包含多類，用來確定多類策略， ovr表示一對多，“crammer_singer”優化所有類別的一個共同的目標 。如果選擇“crammer_singer”，損失、懲罰和優化將會被被忽略。
fit_intercept ：
intercept_scaling ：
class_weight ：對於每一個類別i設定懲罰係數C=classweight[i]∗C$C=clas{s}_{weight}[i]\ast C$,如果不給出，權重自動調整為 nsamples/(nclasses∗np.bincount(y))$n_{samples}/(n_{classes}\ast np.bincount(y))$
verbose：跟多執行緒有關，不大明白啥意思具體。

編寫程式碼

SVC、LinearSVC、NuSVC

import numpy as np # 快速操作結構陣列的工具
from sklearn import svm  # svm支援向量機
import matplotlib.pyplot as plt # 視覺化繪圖


data_set = np.loadtxt("SVM_data.txt")
train_data = data_set[:,0:2]   # 訓練特徵空間
train_target = np.sign(data_set[:,2])  # 訓練集類標號

test_data = [[3,-1], [1,1], [7,-3], [9,0]] # 測試特徵空間
test_target = [-1, -1, 1, 1]  # 測試集類標號

plt.scatter(data_set[:,0],data_set[:,1],c=data_set[:,2])  # 繪製視覺化圖
plt.show()

# 建立模型
clf = svm.SVC()
clf.fit(X=train_data, y=train_target,sample_weight=None)  # 訓練模型。引數sample_weight為每個樣本設定權重。應對非均衡問題
result = clf.predict(test_data)  # 使用模型預測值
print('預測結果：',result)  # 輸出預測值[-1. -1.  1.  1.]

# 獲得支援向量
print('支援向量：',clf.support_vectors_)
# 獲得支援向量的索引
print('支援向量索引：',clf.support_)
# 為每一個類別獲得支援向量的數量
print('支援向量數量：',clf.n_support_)


# # ===============================Linear SVM======================
from sklearn.svm import LinearSVC

clf = LinearSVC() # 建立線性可分svm模型，引數均使用預設值
clf.fit(train_data, train_target)  # 訓練模型
result = clf.predict(test_data)  # 使用模型預測值
print('預測結果：',result)  # 輸出預測值[-1. -1.  1.  1.]


# # ===============================Linear NuSVC======================
from sklearn.svm import NuSVC

clf = NuSVC() # 建立線性可分svm模型，引數均使用預設值
clf.fit(train_data, train_target)  # 訓練模型
result = clf.predict(test_data)  # 使用模型預測值
print('預測結果：',result)  # 輸出預測值[-1. -1.  1.  1.]

不均衡樣本、多分類問題

現在我們再來模擬一下樣本不均衡的情況，同時學習下SVM處理多分類問題。

# ===============================樣本不平衡、多分類的情況========================
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm

# 建立不均衡樣本
rng = np.random.RandomState(0)
n_samples_1 = 1000
n_samples_2 = 100
n_samples_3 = 100
X = np.r_[1.5 * rng.randn(n_samples_1, 2), 0.5 * rng.randn(n_samples_2, 2) + [2, 2],0.5 * rng.randn(n_samples_3, 2) + [-3, 3]]  # 三類樣本點中心為(1.5,1.5)、(2,2)、(-3,3)
y = [0] * (n_samples_1) + [1] * (n_samples_2)+ [2] * (n_samples_3)  # 前面的1000個為類別0，後面的100個為類別1，最後100個類別為2

# 建立模型獲取分離超平面
clf = svm.SVC(decision_function_shape='ovo',kernel='linear', C=1.0)  # decision_function_shape='ovo'為使用1對1多分類處理。會建立n(n-1)/2個二分類。ovr為一對所有的處理方式
clf.fit(X, y)

# 多分類的情況下，獲取其中二分類器的個數。
dec = clf.decision_function([[1.5,1.5]])  # decision_function()的功能：計算樣本點到分割超平面的函式距離。 包含幾個2分類器，就有幾個函式距離。
print('二分類器個數：',dec.shape[1])

# 繪製，第一個二分類器的分割超平面
w = clf.coef_[0]
a = -w[0] / w[1]  # a可以理解為斜率
xx = np.linspace(-5, 5)
yy = a * xx - clf.intercept_[0] / w[1]  # 二維座標下的直線方程

# 使用類權重，獲取分割超平面
wclf = svm.SVC(kernel='linear', class_weight={1: 10})
wclf.fit(X, y)


# 繪製 分割分割超平面
ww = wclf.coef_[0]
wa = -ww[0] / ww[1]
wyy = wa * xx - wclf.intercept_[0] / ww[1]  # 帶權重的直線

# 繪製第一個二分類器的分割超平面和樣本點
h0 = plt.plot(xx, yy, 'k-', label='no weights')
h1 = plt.plot(xx, wyy, 'k--', label='with weights')
plt.scatter(X[:, 0], X[:, 1], c=y)
plt.legend()

plt.show()

迴歸

支援向量分類的方法可以被擴充套件用作解決迴歸問題. 這個方法被稱作支援向量迴歸.

支援向量分類生成的模型(如前描述)只依賴於訓練集的子集,因為構建模型的 cost function 不在乎邊緣之外的訓練點. 類似的,支援向量迴歸生成的模型只依賴於訓練集的子集, 因為構建模型的 cost function 忽略任何接近於模型預測的訓練資料.

支援向量分類有三種不同的實現形式: SVR, NuSVR 和 LinearSVR. 在只考慮線性核的情況下, LinearSVR 比 SVR 提供一個更快的實現形式, 然而比起 SVR 和 LinearSVR, NuSVR 實現一個稍微不同的構思(formulation)

與分類的類別一樣, fit方法會呼叫引數向量 X, y, 只在 y 是浮點數而不是整數型.:

# ===============================SVM迴歸預測========================
X = [[0, 0], [2, 2]]
y = [0.5, 2.5]
clf = svm.SVR()
clf.fit(X, y)
clf.predict([[1, 1]])

使用訣竅

• 避免資料複製: 對於 SVC， SVR， NuSVC 和 NuSVR， 如果資料是通過某些方法而不是用 C 有序的連續雙精度，那它先會呼叫底層的 C 命令再複製。 您可以通過檢查它的 flags 屬性，來確定給定的 numpy 陣列是不是 C 連續的。

• 對於 LinearSVC (和 LogisticRegression) 的任何輸入，都會以 numpy 陣列形式，被複制和轉換為 用 liblinear 內部稀疏資料去表達（雙精度浮點型 float 和非零部分的 int32 索引）。 如果您想要一個適合大規模的線性分類器，又不打算複製一個密集的 C-contiguous 雙精度 numpy 陣列作為輸入， 那我們建議您去使用 SGDClassifier 類作為替代。目標函式可以配置為和 LinearSVC 模型差不多相同的。

• 核心的快取大小: 在大規模問題上，對於 SVC, SVR, nuSVC 和 NuSVR, 核心快取的大小會特別影響到執行時間。如果您有足夠可用的 RAM，不妨把它的 快取大小 設得比預設的 200(MB) 要高，例如為 500(MB) 或者 1000(MB)。

• 懲罰係數C的設定:在合理的情況下， C 的預設選擇為 1 。如果您有很多混雜的觀察資料， 您應該要去調小它。 C 越小，就能更好地去正規化估計。

• 支援向量機演算法本身不是用來擴大不變性，所以 我們強烈建議您去擴大資料量. 舉個例子，對於輸入向量 X， 規整它的每個數值範圍為 [0, 1] 或 [-1, +1] ，或者標準化它的為均值為0方差為1的資料分佈。請注意， 相同的縮放標準必須要應用到所有的測試向量，從而獲得有意義的結果。 請參考章節 預處理資料 ，那裡會提供到更多關於縮放和規整。

• 在 NuSVC/OneClassSVM/NuSVR 內的引數 nu ， 近似是訓練誤差和支援向量的比值。

• 在 SVC, ，如果分類器的資料不均衡（就是說，很多正例很少負例），設定 class_weight=’balanced’ 與/或嘗試不同的懲罰係數 C 。

• 在擬合模型時，底層 LinearSVC 操作使用了隨機數生成器去選擇特徵。 所以不要感到意外，對於相同的資料輸入，也會略有不同的輸出結果。如果這個發生了， 嘗試用更小的 tol 引數。

• 使用由 LinearSVC(loss=’l2’, penalty=’l1’, dual=False) 提供的 L1 懲罰去產生稀疏解，也就是說，特徵權重的子集不同於零，這樣做有助於決策函式。 隨著增加 C 會產生一個更復雜的模型（要做更多的特徵選擇）。可以使用 l1_min_c 去計算 C 的數值，去產生一個”null” 模型（所有的權重等於零）。