1. 程式人生 > >機器學習-訓練模型的儲存與恢復(sklearn)

機器學習-訓練模型的儲存與恢復(sklearn)

在做模型訓練的時候,尤其是在訓練集上做交叉驗證,通常想要將模型儲存下來,然後放到獨立的測試集上測試,下面介紹的是Python中訓練模型的儲存和再使用。

scikit-learn已經有了模型持久化的操作,匯入joblib即可

from sklearn.externals import joblib

模型儲存

>>> os.chdir("workspace/model_save")
>>> from sklearn import svm
>>> X = [[0, 0], [1, 1]]
>>> y = [0, 1]
>>> 
clf = svm.SVC() >>> clf.fit(X, y) >>> clf.fit(train_X,train_y) >>> joblib.dump(clf, "train_model.m")

通過joblib的dump可以將模型儲存到本地,clf是訓練的分類器

模型從本地調回

>>> clf = joblib.load("train_model.m")

通過joblib的load方法,載入儲存的模型。

然後就可以在測試集上測試了

clf.predit(test_X) #此處test_X為特徵集

相關推薦

機器學習-訓練模型儲存恢復sklearn

在做模型訓練的時候,尤其是在訓練集上做交叉驗證,通常想要將模型儲存下來,然後放到獨立的測試集上測試,下面介紹的是Python中訓練模型的儲存和再使用。 scikit-learn已經有了模型持久化的操作,匯入joblib即可 from sklearn.ex

機器學習之SVM初解淺析:最大距離

機器學習 svm 最大距離 2 / ||w|| 這段時間在看周誌華大佬的《機器學習》,在看書的過程中,有時候會搜搜其他人寫的文章,對比來講,周教授講的內容還是比較深刻的,但是前幾天看到SVM這一章的時候,感覺甚是晦澀啊,第一感覺就是比較抽象,特別是對於像本人這種I

機器學習之SVM初解淺析:

機器學習 svm 最大距離 2 / ||w||sdsshngshan‘gccha 這段時間在看周誌華大佬的《機器學習》,在看書的過程中,有時候會搜搜其他人寫的文章,對比來講,周教授講的內容還是比較深刻的,但是前幾天看到SVM這一章的時候,感覺甚是晦澀啊,第一感覺就

tensorflow模型儲存恢復tf.train.Saver()和saver.restore()方法的運用

注意: 在tensorflow中,一旦有涉及到檔案路徑的相關操作,請確保檔案路徑上所有目錄名為英文!!!!否則可能會出現奇怪的錯誤!! TensorFlow模型的儲存與恢復(使用tf.train.Saver()和saver.restore()): 首先我們需要建立一個用來儲存模型的物

西瓜書《機器學習學習筆記 二 模型評估選擇 效能度量 ROC AUC...

目錄 3、效能度量(performance measure) 衡量模型泛化能力的評價標準,就是效能度量。 效能度量 <————> 任務需求 在對比不同模型的“好壞”時,使用不同的效能度量往往會導致不同的結果,這也意味著模型的好壞是相

TensorFlow 模型儲存恢復總結微調、微改已有模型

這裡要注意,如果沒有恢復圖,則在恢復變數時,需要在程式碼中手動建立與之前一樣的圖,如果有新的op,則需要指定要恢復的引數列表,不然的話就會報錯,因為在原有模型檔案裡找不到新定義的op,我們改別人的模型一般用的是這個,不過我們構建的圖可以與原來不同,只要是我們定義的變數與原圖一致就可以,體現在名字,變數型別,大

Keras:自建資料集影象分類的模型訓練儲存恢復

資料擴增 在資料集中的資料不多的情況下,可以使用圖片生成器ImageDataGenerator用來生成一個batch的影象資料,進行資料擴增. 示例: #!/usr/bin/python # coding:utf8 from keras.prepro

機器學習模型評估引數調優

一、流水線工作流        在利用訓練資料對模型進行擬合時已經得到一些引數,使用流水線可以避免在將模型用於新資料時重新設定這些引數。利用sklearn中的Pipline類,使得我們可以擬合出包含任意多個處理步驟的模型,並將模型用於新資料的預測。 1. # Title

AI工程師成長之路--機器學習模型評估選擇

開篇簡介:本文是博主結合前輩經驗和自身的認識寫的博文,有不少博主自身理解還不太透徹,因為考慮到文章的完整性,有些部分需要引用的前輩的一些方法,望諒解。由於文章專業化內容過多,會影響閱讀體驗,在這裡建議大家難以理解的部分先不要去深究,等待需要用到的時候再去深入研究一下。本博

MongoDB 學習之備份恢復

備份 語法 mongodump -h dbhost -d dbname -o dbdirectory -h:伺服器地址,也可以指定埠號 -d:需要備份的資料庫名稱 -o:備份的資料存放位置,此

tensorflow 檢查點和模型,儲存恢復使用,官方教程(一)

檢查點:這種格式依賴於建立模型的程式碼。SavedModel:這種格式與建立模型的程式碼無關。示例程式碼本文件依賴於 TensorFlow 使用入門中詳細介紹的同一個鳶尾花分類示例。要下載和訪問該示例,請執行下列兩個命令:git clone https://github.co

機器學習筆記--模型評估選擇

經驗誤差與過擬合 錯誤率:m個樣本中有a個樣本分類錯誤:a/m. 精度:(1−a/m)∗100% 誤差:實際預測輸出與樣本真實輸出之間的差異 訓練集上:訓練誤差(training error) 新樣本上:泛化誤差(generalization erro

特徵工程和模型融合--機器學習--思維導圖和筆記29

一、思維導圖(點選圖方法) 二、補充筆記 (1)常見的特徵工程主要指對各種型別的特徵進行處理,包括數值型特徵、類別型特徵、時間型特徵和其他型別特徵和組合特徵。對於數值型特徵,可以進行幅度調整(包括min-max縮放、標準化、歸一化)、統計值分析(最大值、最小值、平

機器學習模型評估選擇

內容大多來自 統計學習方法——李航 機器學習——周志華 1. 統計學習三要素   統計學習方法都是有模型、策略和演算法構成的,也就是統計學習方法由三要素構成,可以簡單地表示為: 方法=模型+策略+算法方法=模型+策略+算法 構建一種統計學習方法就是

Tensorflow學習筆記--模型儲存調取

注:本文主要通過莫煩的python學習視訊記錄的內容,如果喜歡請支援莫煩python。謝謝 目前tf的模型儲存其實只是引數儲存,所以儲存檔案時你特別要主要以下幾點: 1、一定要設定好引數的資料型別!

機器學習初學者——模型評估選擇

一.經驗誤差與過擬合 1、錯誤率: 通常把分類錯誤的樣本數佔樣本總數的比例稱為錯誤率(Error rate)。 例如m個樣本中有a個樣本分類錯誤,則錯誤率E=a/m。相應的1-a/m 稱為精度(ac

機器學習7-模型儲存&無監督學習

模型儲存和載入 sklearn模型的儲存和載入API from sklearn.externals import joblib 儲存:joblib.dump(rf, 'test.pkl') 載入:estimator = joblib.load('test.pkl') 線性迴歸的模型儲存載入案例 d

機器學習實戰精讀--------奇異值分解SVD

svd 奇異值分解奇異值分解(SVD):是一種強大的降維工具,通過利用SVD來逼近矩陣並從中提取重要特征,通過保留矩陣80%~ 90%的能量,就能得到重要的特征並去掉噪聲SVD分解會降低程序的速度,大型系統中SVD每天運行一次或者頻率更低,並且還要離線進行。隱性語義索引(LST):試圖繞過自然語言理解,用統計

機器學習數學基礎之矩陣理論

gis 引入 定義 增加 2017年 理論值 nbsp 得到 正數 矩陣求導 目錄 一、 矩陣求導的基本概念 1. 一階導定義 2. 二階導數 二、 梯度下降 1. 方向導數. 1.1 定義 1.2 方向導數的計算公式. 1.3 梯度下降最快的方向 1.

機器學習】支持向量機SVM

cto nom 機器 ins 神經網絡 學習 參數 mage 36-6 感謝中國人民大學胡鶴老師,課程深入淺出,非常好 關於SVM 可以做線性分類、非線性分類、線性回歸等,相比邏輯回歸、線性回歸、決策樹等模型(非神經網絡)功效最好 傳統線性分類:選出兩堆數據的質心,並