2. 程式人生 > >【機器學習】線性迴歸演算法的過擬合比較

【機器學習】線性迴歸演算法的過擬合比較

阿新 • • 發佈：2018-11-26

回顧

  • 過擬合與欠擬合 主要介紹了什麼是欠擬合什麼是過擬合
  • 對抗過擬合 主要介紹了線性迴歸中對抗過擬合的方法，主要包括：L1-norm的LASSO迴歸、L2-norm的Ridge迴歸，此外還有一個沒有提到，L1-norm和L2-norm結合的Elasitc Net(彈性網路）

Ridge模型具有較高的準確性、魯棒性以及穩定性；LASSO模型具有較高的求解速度；
如果既要考慮穩定性也考慮求解的速度，就使用Elasitc Net

後面我們將對線性迴歸、LASSO迴歸、Ridge迴歸以及Elasitc Net模型的過擬合比較

下面我們首先來看看過擬合是什麼樣子的

線性迴歸過擬合示例

圖中真實資料點是由
y = 1.8 ∗ x 3 +

x 2 − 14 ∗ x − 7
y = 1.8*x^3 + x^2 - 14*x - 7
再加上隨機數產生的，表示三階模型應該是最好的模型

在這裡插入圖片描述

上圖我們通過多項式線性迴歸實現了不同階數的資料擬合程度
當階數為1時，為一條直線，不能夠很好的擬合數據，屬於欠擬合
當階數為3時，基本與資料擬合，正確率基本為1，因為我們加入了隨機數，所以3階模型不可能百分百擬合
當階數為5時，正確率達到了1，已經達到了最大值，再往後就是過擬合了
當階數為9時，我們可以明顯發現，曲線在前面一段有突變，出現嚴重過擬合，往後就更過擬合了

原始碼可見：Github下的06_過擬合.py

迴歸演算法過擬合比較

在這裡插入圖片描述

圖中我們可以看出：

  • 線性迴歸在9階時出現了過擬合，而其他迴歸模型沒有
  • 因為其他三個模型都對過擬合進行的處理

原始碼可見：Github下07_迴歸各種演算法的過擬合比較.py

相關推薦

【機器學習】線性迴歸演算法的過擬合比較

回顧 過擬合與欠擬合 主要介紹了什麼是欠擬合什麼是過擬合 對抗過擬合 主要介紹了線性迴歸中對抗過擬合的方法，主要包括：L1-norm的LASSO迴歸、L2-norm的Ridge迴歸，此外還有一個沒有提到，L1-norm和L2-norm結合的Elasitc Net(彈性網

【機器學習】線性迴歸模型分析

具體原理不講了，線性迴歸模型，代價損失函式 COST是均方誤差，梯度下降方法。 屬性取值。模型的屬性取值設定需要根據每一個引數的取值範圍來確定，將所有的屬性的取值統一正則化normalization，統一規定在0~1的範圍，或者-1~1的範圍內，這樣在進行線性迴歸時不會造成

【機器學習】線性迴歸+程式碼實現

參考：《機器學習實戰》 原始碼地址以及資料：https://github.com/JieruZhang/MachineLearninginAction_src 1. 標準線性迴歸(LR) y

20171028機器學習之線性回歸過擬合問題的解決方案

ces 函數 彈性 alpha mach rom 定性 ast cep 在函數中加入一個正則項： 三種方式： 一、Ridge回歸（嶺回歸）： 　　優點：具有較高的準確性、魯棒性以及穩定性 　　缺點：求解速度慢 二、Lasso回歸： 　　優點：求解速度快（原理降維計算

【吳恩達 機器學習】 邏輯迴歸演算法Matlab實現

一，假設函式： 1） 邏輯迴歸（Logistic Regression)，Logistic function, Sigmoid function是同一個意思，函式形式（假設函式形式）如下: 邏輯迴歸是二分類演算法，hθ(x)>=0.5hθ(x)&g

【機器學習】--線性回歸中L1正則和L2正則

last clas nbsp post pan red font 推廣 http 一、前述 L1正則，L2正則的出現原因是為了推廣模型的泛化能力。相當於一個懲罰系數。 二、原理 L1正則：Lasso Regression L2正則：Ridge Regression

【機器學習】softmax迴歸（二）

通過上篇softmax迴歸已經知道大概了，但是有個缺點，現在來仔細看看 Softmax迴歸模型引數化的特點 Softmax 迴歸有一個不尋常的特點：它有一個“冗餘”的引數集。為了便於闡述這一特點，假設我們從引數向量  中減去了向量 ，這時，每一個

【機器學習】softmax迴歸（一）

在 softmax迴歸中，我們解決的是多分類問題（相對於 logistic 迴歸解決的二分類問題），類標  可以取  個不同的值（而不是 2 個）。因此，對於訓練集 ，我們有 。（注意此處的類別下標從 1 開始，而不是 0）。例如，在 M

【ML_Algorithm 1】線性迴歸——演算法推導及程式碼實現

：：：：：：：：線性迴歸：：：：：：：：        第一式                   第二式 從式一到式二，需要新增一個  

機器學習之線性迴歸演算法(Linear Regression)(含python原始碼)

機器學習之線性迴歸演算法(Linear Regression) 線性迴歸(Linear Regression)演算法屬於有監督的迴歸(Regression)學習演算法。迴歸(Regression)演算法通過建立變數之間的迴歸模型，通過學習(訓練)過程得到變數與

【深度學習】線性迴歸（一）原理及python從0開始實現

文章目錄 線性迴歸 單個屬性的情況 多元線性迴歸 廣義線性模型 實驗資料集 介紹 相關連結 Python實現 環境 編碼

【深度學習】線性迴歸（三）使用MXNet深度學習框架實現線性迴歸

文章目錄 概述 程式碼 概述 這篇文章使用MXNet深度學習框架中的Gluon包實現小批量隨機梯度下降的線性迴歸問題。可以參考我的上一篇文章【深度學習】線性迴歸（二）小批量隨機梯度下降及其python實現。 主要包

【深度學習】線性迴歸（二）小批量隨機梯度下降及其python實現

文章目錄 概述 小批量隨機梯度下降 解析解和數值解 小批量隨機梯度下降 python實現 需要的先驗知識 程式碼和實驗 概述 本文

【機器學習】決策樹演算法（二）— 程式碼實現

#coding=utf8 ‘’’ Created on 2018年11月4日 @author: xiaofengyang 決策樹演算法：ID3演算法 ‘’’ from sklearn.feature_extraction import DictVectorize

【機器學習】邏輯迴歸基礎知識+程式碼實現

1. 基本概念 邏輯迴歸用於二分類，將對輸入的線性表示對映到0和1之間，輸出為label為1的概率。 優點：實現代價低，可輸出分類概率。適用於資料線性不可分。 缺點：容易欠擬合，分類精度可能不高，且僅限二分類。 使用資料型別：數值型和標稱資料。 邏輯迴歸本質也是線性迴歸，但是

【機器學習】K近鄰演算法

Knn演算法是一種簡單的監督學習演算法，雖然效能並不算非常出色，但是可解釋性非常強。理論上可以證明，Knn可以以任意精度擬合真實分類高維曲面。 一、Knn演算法分析 1、該演算法在處理樣本分佈不均勻的時候效果比較差。比如正類的樣本數量為1000，反類的樣本數量為100，即

【機器學習】梯度下降演算法分析與簡述

梯度下降演算法分析與簡述 梯度下降(gradient descent)是一種最優化演算法，基於爬山法的搜尋策略，其原理簡單易懂，廣泛應用於機器學習和各種神經網路模型中。在吳恩達的神經網路課程中，梯度下降演算法是最先拿來教學的基礎演算法。 梯度下降演算法的

【機器學習】聚類演算法：層次聚類

本文是“漫談 Clustering 系列”中的第 8 篇，參見本系列的其他文章。 系列不小心又拖了好久，其實正兒八經的 blog 也好久沒有寫了，因為比較忙嘛，不過覺得 Hierarchical Clustering 這個話題我能說的東西應該不多，所以還是先寫了吧（我準

【機器學習】梯度下降演算法及梯度優化演算法

用於評估機器學習模型的就是損失函式，我們訓練的目的基本上都是最小化損失，這個最小化的方式就要用優化演算法了，機器學習中最常用的就是梯度下降演算法。 導數、方向導數和梯度 要了解梯度下降演算法是什麼首要知道梯度是什麼，導數和方向導數又是瞭解梯度的前提。

【機器學習】決策樹演算法的基本原理

　　參考周志華老師的《機器學習》一書，對決策樹演算法進行總結。 　　決策樹(Decision Tree)是在已知各種情況發生概率的基礎上，通過構建決策樹來求取淨現值期望值大於等於0的概率，評價專案風險，判斷其可行性的決策分析方法，是直觀運用概率分析的圖解法。