2. 程式人生 > >SVM的兩個引數 C 和 gamma

SVM的兩個引數 C 和 gamma

阿新 • • 發佈：2019-01-03
           SVM模型有兩個非常重要的引數C與gamma。其中 C是懲罰係數，即對誤差的寬容度。c越高，說明越不能容忍出現誤差,容易過擬合。C越小，容易欠擬合。C過大或過小，泛化能力變差

           gamma是選擇RBF函式作為kernel後，該函式自帶的一個引數。隱含地決定了資料對映到新的特徵空間後的分佈，gamma越大，支援向量越少，gamma值越小，支援向量越多。支援向量的個數影響訓練與預測的速度。

此外大家注意RBF公式裡面的sigma和gamma的關係如下：

   

        這裡面大家需要注意的就是gamma的物理意義，大家提到很多的RBF的幅寬，它會影響每個支援向量對應的高斯的作用範圍

，從而影響泛化效能。我的理解：如果gamma設的太大，會很小，很小的高斯分佈長得又高又瘦， 會造成只會作用於支援向量樣本附近，對於未知樣本分類效果很差，存在訓練準確率可以很高，(如果讓無窮小，則理論上，高斯核的SVM可以擬合任何非線性資料，但容易過擬合)而測試準確率不高的可能，就是通常說的過訓練；而如果設的過小，則會造成平滑效應太大，無法在訓練集上得到特別高的準確率，也會影響測試集的準確率。

此外，可以明確的兩個結論是： 結論1：樣本數目少於特徵維度並不一定會導致過擬合，這可以參考餘凱老師的這句評論： “這不是原因啊，呵呵。用RBF kernel, 系統的dimension實際上不超過樣本數，與特徵維數沒有一個trivial的關係。
” 結論2：RBF核應該可以得到與線性核相近的效果（按照理論，RBF核可以模擬線性核），可能好於線性核，也可能差於，但是，不應該相差太多。 當然，很多問題中，比如維度過高，或者樣本海量的情況下，大家更傾向於用線性核，因為效果相當，但是在速度和模型大小方面，線性核會有更好的表現。 老師木還有一句評論，可以加深初學者對SVM的理解： “須知rbf實際是記憶了若干樣例，在sv中各維權重重要性等同。線性核學出的權重是feature weighting作用或特徵選擇 。” 以上摘錄了：http://blog.sina.com.cn/s/blog_6ae183910101cxbv.html

Grid Search

Grid Search是用在Libsvm中的引數搜尋方法。很容易理解：就是在C,gamma組成的二維引數矩陣中，依次實驗每一對引數的效果。

                                                    

使用grid Search雖然比較簡單，而且看起來很naïve。但是他確實有兩個優點：

  1. 可以得到全域性最優
  2. (C,gamma)相互獨立，便於並行化進行

相關推薦

SVM的兩個引數 C 和 gamma的解析

轉載於：https://blog.csdn.net/lujiandong1/article/details/46386201 SVM模型有兩個非常重要的引數C與gamma。其中 C是懲罰係數，即對誤差的寬容度。c越高，說明越不能容忍出現誤差,容易過擬合。C越小，容易欠擬合。C過大或過小，泛化能力

SVM的兩個引數 C 和 gamma

           SVM模型有兩個非常重要的引數C與gamma。其中 C是懲罰係數，即對誤差的寬容度。c越高，說明越不能容忍出現誤差,容易過擬合。C越小，容易欠擬合。C過大或過小，泛化能力變差            gamma是選擇RBF函式作為kernel後，該函式自

SVM的高斯kernel 引數c和gamma說明

The SVM with a Gaussian kernel function has two such training parameters: C which controls overfitting of the model, and gamma (γ) which

【Machine Learning】【Python】三、PSO + PCA優化SVM引數C和gamma ---- 《SVM物體分類和定位檢測》

---------------------【6.27 更新libsvm使用方法】-------------------------------------------------------------

SVM的兩個參數 C 和 gamma

測試 需要 html libsvm div 無法 泛化 img 重要 https://blog.csdn.net/lujiandong1/article/details/46386201 SVM模型有兩個非常重要的參數C與gamma。其中 C是懲罰系數，即對誤差的寬容度。

C++primer第五版 編寫一個函式，令其接收兩個引數，一個是int型的數，另一個是int指標。函式比較int的值和指標所指的值，返回較大的那個。

該題目主要是為了熟悉函式引數的幾種傳遞方式。定義函式形參時，可以定義成傳值（本身）、傳指標（*）、傳引用（&）。如果只是訪問引數值，不對其進行修改，那麼這三種方式都是可以的。例如該題目，就僅僅是比較兩個引數的大小，並沒有對引數本身進行修改，因此傳值和傳指標都是可行的。

設計一個演算法，刪除遞增有序連結串列中值大於mink且小於maxk的所有元素（mink和maxk是給定的兩個引數，其值可以和表中的元素相同，也可以不同）。

語言：C++ #include <iostream> using namespace std; typedef struct LNode { int data; LNode *next; }LNode,*LinkList; //建立連結串列 int CreateList(Li

Unity中使用C#遞迴輸出陣列1，2，3，5，8，...該陣列的生成規律是每一個數字是前兩個數字的和

一、實現思路：第一個數大於等於0，第二個數大於等於第一個數，最後指定一個需要輸出的最後一個數字（該數字用作最後輸出的界限） ①實現指令碼如下： /*** * Title："XXX" 專案 * 主題：XXX * Description： * 功能：XXX * Date：2018 * Ver

java--Fibonacc由數字1、1、2、3...組成的，從第三個數字起每一個數字為前兩個數字的和。建立一個方法，接受一個整數引數，顯示從第一個元素開始總共由該引數指定的個數所構成的所有斐波那契數

題目完整描述：一個斐波那契數列是由數字1、1、2、3、5、8、13、21、34等等組成的，其中每一個數字(從第三個數字起)都是前兩個數字的和。建立一個方法，接受一個整數引數，並顯示從第一個元素開始總共由該引數指定的個數所構成的所有斐波那契數字。例如，如果執行 java Fibonacci 5(Fib

C語言，實現兩個整數m和n的二進位制序列中有多少不同的位

新手學程式設計，大佬寫的太高深，看看本人小白寫的，一起學習一起交流 #include <stdio.h> int main() { int m = 0; int n = 0; int i = 0; int count = 0; scanf("%d%d", &

劍指offer 面試題41：和為s的兩個數字vs和為s的連續正數序列 c++

題目：輸入一個遞增排序的陣列和一個數字S，在陣列中查詢兩個數，使得他們的和正好是S，如果有多對數字的和等於S，輸出兩個數的乘積最小的。 思路：兩個 指標，start從前往後遍歷，end從後往前遍歷，如果當前前後之和大於s,end--,如果當前前後之和小於s，start++，這樣能找出乘積最小的和

C語言（C++語言）中##(兩個井號)和#(一個井號)用法[轉]

C語言（C++語言）中的巨集（Macro）屬於編譯器預處理的範疇，屬於編譯期概念（而非執行期概念）。下面對常遇到的巨集的使用問題做了簡單總結。 關 於#和## 在C語言的巨集中，#的功能是將其後面的巨集引數進行字串化操作（Stringfication），簡單說就是在對它所引用的巨集變數通過替換後

C語言程式設計求兩個複數的和

#include <stdio.h> #include <stdlib.h> /* 1.程式設計求兩個複數的和 結構體 函式 返回值是結構體 引數 兩個結構體 */ struct Complex { int x; int y; }; stru

Android-LayoutInflater中inflate方法兩個引數和三個引數的區別

關於inflate引數問題，我想很多人多多少少都瞭解一點，網上也有很多關於這方面介紹的文章，但是枯燥的理論或者翻譯讓很多小夥伴看完之後還是一臉懵逼，so，我今天想通過三個案例來讓小夥伴徹底的搞清楚這個東東。本篇部落格我們不講原始碼，只看使用。原始碼的解讀會在下一篇博文中帶

三個案例帶你看懂LayoutInflater中inflate方法兩個引數和三個引數的區別

關於inflate引數問題，我想很多人多多少少都瞭解一點，網上也有很多關於這方面介紹的文章，但是枯燥的理論或者翻譯讓很多小夥伴看完之後還是一臉懵逼，so，我今天想通過三個案例來讓小夥伴徹底的搞清楚這個東東。本篇部落格我們不講原始碼，只看使用。原始碼的解讀會在下一篇博文中帶來。

實現從命令列引數輸入兩個字串型別的數值，並計算輸出兩個數值的和。 [必做題]

import java.io.UnsupportedEncodingException; import java.util.Scanner; public class ZiFuChuanHe { public static void main(String[] args) throws

libsvm ——SVM中引數 c和g的最佳值的選擇

寫了個程式 來選取SVM中引數 c和g的最佳值.[寫這個的目的是方便大家用這個小程式直接來尋找 c和g的最佳值,不用再另外編寫東西了. ] 其實原本libsvm C語言版本中有相應的子程式可以找到最佳的c和g,需裝載python語言然後用py 那個畫圖 就可以找到最佳的c

MTK平臺SPI匯流排的引數意義，重點講解的是speed和mode兩個引數的講解

解釋MTK平臺SPI匯流排引數的含義   檔案kernel-3.10/drivers/misc/mediatek/spi/mt6795/spi.c是MTK的spi控制器的驅動，具體引數的設定是在chip_config檔案中。 chip_config就是從裝置spi_devic

innoDB 儲存引擎 IO THread 後臺執行緒 innodb_read_io_threads 和 innodb_write_io_threads 兩個引數詳解記錄

在innodb儲存中大量使用了AIO（Async IO）來處理些IO請求，這樣可以極大提高資料庫效能。而IO Thread 的主要工作是要負責這些IO請求的回撥（call back）處理。innodb1.0版本之前共有4個IO Thread，分別是write，read，ins

redis的客戶端jedis裡構造器中有soTimeout和connectionTimeout兩個引數，分別代表什麼

connectionTimeout：表示連線超時時間例如構造器public Jedis(String host, int port, int timeout) { super(host, port, timeout); }public static void main