2. 程式人生 > >機器學習--線性迴歸R語言

機器學習--線性迴歸R語言

阿新 • • 發佈：2019-02-05

迴歸分析就是利用樣本，產生擬合方程，從而進行預測。簡而言之，就是你用你手頭上的資料進行模型的訓練，然後用你得到的模型對於新資料進行預測。

一元線性迴歸：

例子：

y<- c(61,57,58,40,90,35,68)#weight
x<-c(170,168,175,153,185,135,172) #height
plot(x,y)
z<- lm(y~x+1)#假設y=ax+b
lines(x,fitted(z))#新增擬合值對x的散點圖並連線

coef(z)#求模型係數
formula(z)#提取模型公式

x代表身高，y代表體重

這是模型的概括
Call:
lm(formula = y ~ x + 1)

Residuals:
      1       2       3       4       5       6       7 
 

 -2.003  -4.002 -10.006  -5.992  11.988   7.019   2.996 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)   
(Intercept) -107.1018    34.8642  -3.072  0.02772 * 
x              1.0006     0.2099   4.768  0.00502 **
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 8.462 on 5 degrees of freedom
Multiple R-squared:  0.8197,    Adjusted R-squared:  0.7837 
F-statistic: 22.73 on 1 and 5 DF,  p-value: 0.005024

解讀上述：

Residuals:
      1       2       3       4       5       6       7 
 -2.003  -4.002 -10.006  -5.992  11.988   7.019   2.996

這是表示殘差
紅點表示樣本的值，y1'表示那條藍色的擬合線的值
1 和 -2.003表示在第一個樣本點的時候，殘差為-2.003，也就是y1-y1’為-2.003

Coefficients:
             Estimate Std. Error t value Pr(>|t|)   
(Intercept) -107.1018    34.8642  -3.072  0.02772 * 
x              1.0006
 
     0.2099   4.768  0.00502 **

第一列代表-107.1018代表的是截距，1.0006代表斜率
第二列：推算的係數的標準差
第三列：t值
第四列：p值，是一個驗證假設是否成立的值。比如上面的身高體重模型，我假設身高height與weight無關係，也就是在原始的模型中呢，體重=常數+0*height，height前面係數為0，由此我們可以通過R算出一個統計量t值，Pr表示t值以外的面積，如果p>0.05我們就可以說拒絕原假設，也就是我們不能說height與weight無關係，為什麼這個pr>0.05呢，而不是pr>0.01或者pr>0.0001呢，這個是關於一個t分佈的面積問題吧，詳細的百度谷歌吧。

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

顯著性標記，* * * 極度顯著，* * 高度顯著，*顯著，圓點不太顯著，沒有記號不顯著
簡而言之，*越多代表效果越好

(Intercept) -107.1018
x 1.0006 表示x的係數為1.0006，截距是-107.1018，也就是身高體重的一元線性模型方程是 y = 1.0006*x-107.1018

F-statistic: 22.73 on 1 and 5 DF,  p-value: 0.005024

這是對整個模型的一個檢驗，原理與上面的pr差不多，都屬於假設檢驗。
用最小二乘法求解：
使用最小二乘法求解係數

迴歸問題擅長於內推插值，而不擅長於外推歸納。所以在使用迴歸模型做預測時需要注意x的取值範圍
內推值：即在圖中存在的範圍之內的點
外推值：即不在圖中存在的範圍之內的點
比如說剛剛的身高/體重模型，y = 1.0006*x-107.1018 ;我要預測一個170身高的人的體重，可以擬合比較準確，這個170就是內推值。
而身高比如說是20cm，那麼體重是負數嗎？顯然不可能，那麼這個20cm就是外推值

多元線性迴歸：

顧名思義，就是自變數多了，影響因素不唯一，比如說商品銷售額，它可能跟廣告投入、市場因素、節氣變化等有關聯(我自己臆想的)，所以這個時候，就會用到多元線性迴歸模型。
例子：
使用R語言內建swiss資料集，
swiss資料集，直接在Rconsole中輸入view(swiss)即可出現
swiss資料集介紹
R語言help(swiss)即可出現

swiss.lm<- lm(Fertility~.,data=swiss)#Fertility是因變數，.表示因變數之外的所有列
summary(swiss.lm)
Call:
lm(formula = Fertility ~ ., data = swiss)

Residuals:
     Min       1Q   Median       3Q      Max 
-15.2743  -5.2617   0.5032   4.1198  15.3213 

Coefficients:
                 Estimate Std. Error t value Pr(>|t|)    
(Intercept)      66.91518   10.70604   6.250 1.91e-07 ***
Agriculture      -0.17211    0.07030  -2.448  0.01873 *  
Examination      -0.25801    0.25388  -1.016  0.31546    
Education        -0.87094    0.18303  -4.758 2.43e-05 ***
Catholic          0.10412    0.03526   2.953  0.00519 ** 
Infant.Mortality  1.07705    0.38172   2.822  0.00734 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 7.165 on 41 degrees of freedom
Multiple R-squared:  0.7067,    Adjusted R-squared:  0.671 
F-statistic: 19.76 on 5 and 41 DF,  p-value: 5.594e-10

注意了，我們通過觀察，Multiple R-squared: 0.7067 這個資料還行，p-value: 5.594e-10 正確的可能性很高，然後看係數時發現後面的 “ * ” 號發現 Examination後面居然沒有 “ * ” ，所以會存在隱憂，應該剔除examination
那麼問題來了，變數多了，該怎麼選擇合適的變數呢？變數與變數之間是否存在共線性？
困難：
1. 選定變數（多元），因為有時候變數太多，有些對於模型是沒有幫助甚至是倒忙，所以需要篩選。
2. 多重共線性：有些變數可以由其他變數推出來，若是存在，則會產生較大誤差
3. 檢驗模型是否合理
逐步迴歸：多元線性迴歸選擇變數的方法

  1. 向前引入法：從一元迴歸開始，逐步增加變數，使指標達到最優
  2. 向後剔除法：從全變量回歸方程開始，逐步刪去某個變數，使指標值達到最優為止
  3. 逐步篩選法：綜合上述兩種方法
    在變數選取之前，有幾個判斷指標先介紹一下
    AIC叫做赤池準則，是一位日本人提出的（有時候不太行），RSS在前面已經提過，這個資料越接近0越好，R^2也就是上文Multiple R-squared，這個資料越接近1越好
    R語言有step()函式，
step(object, scope, scale = 0,
     direction = c("both", "backward", "forward"),
     trace = 1, keep = NULL, steps = 1000, k = 2, ...)
     具體資訊可以help一下這個函式，下面我們使用step來做

direction：both表示綜合兩種方法，backward表示向後剔除，forward表示向前引入

step(object = swiss.lm,direction = "backward")#object表示模型，按照規範主要為lm（線性）或者glm（廣義線性）模型
Start:  AIC=190.69
Fertility ~ Agriculture + Examination + Education + Catholic + 
    Infant.Mortality

                   Df Sum of Sq    RSS    AIC
- Examination       1     53.03 2158.1 189.86
<none>                          2105.0 190.69
- Agriculture       1    307.72 2412.8 195.10
- Infant.Mortality  1    408.75 2513.8 197.03
- Catholic          1    447.71 2552.8 197.75
- Education         1   1162.56 3267.6 209.36

Step:  AIC=189.86
Fertility ~ Agriculture + Education + Catholic + Infant.Mortality

                   Df Sum of Sq    RSS    AIC
<none>                          2158.1 189.86
- Agriculture       1    264.18 2422.2 193.29
- Infant.Mortality  1    409.81 2567.9 196.03
- Catholic          1    956.57 3114.6 205.10
- Education         1   2249.97 4408.0 221.43

Call:
lm(formula = Fertility ~ Agriculture + Education + Catholic + 
    Infant.Mortality, data = swiss)

Coefficients:
     (Intercept)       Agriculture         Education          Catholic  Infant.Mortality  
         62.1013           -0.1546           -0.9803            0.1247            1.0784

分析：
從上面來看，初始狀態下 Start: AIC=190.69,
模型：
Fertility ~ Agriculture + Examination + Education + Catholic + Infant.Mortality，
當剔除- Examination 1 53.03 2158.1 189.86 後，AIC=189.86
然後，step會繼續進行剔除，然而，剔除任何變數AIC都不會變小，由此得到最終模型以及相關係數

Step:  AIC=189.86
Fertility ~ Agriculture + Education + Catholic + Infant.Mortality

                   Df Sum of Sq    RSS    AIC
<none>                          2158.1 189.86
- Agriculture       1    264.18 2422.2 193.29
- Infant.Mortality  1    409.81 2567.9 196.03
- Catholic          1    956.57 3114.6 205.10
- Education         1   2249.97 4408.0 221.43

Call:
lm(formula = Fertility ~ Agriculture + Education + Catholic +  Infant.Mortality, data = swiss)
Coefficients:
 (Intercept) Agriculture Education Catholic Infant.Mortality  
 62.1013     -0.1546    -0.9803      0.1247            1.0784

方程：

Fertility = 62.1013*Agriculture-0.1546*Education-0.9803*Catholic+0.1247*Infant.Mortality

step函式both自己嘗試，forward這個由於所有變數都已經在模型當中了，所以沒法使用。
除step以外，R語言中還有兩個函式可以做逐步迴歸，分別是drop1，add1
有時候，AIC準則並太適用，這裡我們使用書中的內容來說明問題
1
2
3
4
5
6
7
8
9
10
如有錯誤，請指出，謝謝！

相關推薦

機器學習--線性迴歸R語言

迴歸分析就是利用樣本，產生擬合方程，從而進行預測。簡而言之，就是你用你手頭上的資料進行模型的訓練，然後用你得到的模型對於新資料進行預測。 一元線性迴歸： 例子： y<- c(61,57,58,40,90,35,68)#weight x&l

機器學習|線性迴歸三大評價指標實現『MAE, MSE, MAPE』（Python語言描述）

對於迴歸預測結果，通常會有平均絕對誤差、平均絕對百分比誤差、均方誤差等多個指標進行評價。這裡，我們先介紹最常用的3個： 平均絕對誤差（MAE） 就是絕對誤差的平均值，它的計算公式如下： M

Windons10 python3.6 機器學習線性迴歸 matplotlib出現影象中文亂碼和使用sk_learn輸出ValueError: Expected 2D array, got 1D

Windons10 python3.6 機器學習線性迴歸 matplotlib出現影象中文亂碼和使用sk_learn輸出ValueError: Expected 2D array, got 1D array instead:問題解決 話不多說，大家來就是解決問題的，本人也是遇到問題才四處搜尋

機器學習-線性迴歸（LMS Algorithm）

今天正式開始機器學習之路（看的斯坦福大學的視訊課以及講義），由於看的時候濛濛的，因此想要找個平臺儲存一下自己學習的成果，因此寫了此篇文章，作為機器學習的小白，文章可能有諸多不妥之處，不作為學術理論的深入研究範圍。因為我是小白，我是小白，我是小白。 由於第一次用簡書寫，所以可能格式不太對，請見諒。

機器學習 --- 線性迴歸與邏輯迴歸

線性迴歸和邏輯迴歸在機器學習上是一種監督式學習。在預測類問題上，我們希望能通過一個對映關係  ,當給定變數  ，能得到一個較為滿意的預測結果  ，迴歸方法旨在找到能表示樣本空間分佈的對映關係。   一、線性迴歸的基本形式

機器學習--線性迴歸演算法預測房價

裡面非常詳細地介紹了微積分基本運演算法則、線性迴歸演算法、梯度下降演算法及改進。 a. 用線性迴歸方法擬合正弦函式 %matplotlib inline import matplotlib.pyplot as plt import numpy as np # 生成2

機器學習——線性迴歸

1 def test_fj(): 2 X = np.array([[500, 3, 0.3], [1000, 1, 0.6], [750, 2, 0.3], [600, 5, 0.2], [1200, 1, 0.6]], dtype=float) 3 Y = np.array([100

機器學習-線性迴歸（LMS Algorithm）

今天正式開始機器學習之路（看的斯坦福大學的視訊課以及講義），由於看的時候濛濛的，因此想要找個平臺儲存一下自己學習的成果，因此寫了此篇文章，作為機器學習的小白，文章可能有諸多不妥之處，不作為學術理論的深入研究範圍。因為我是小白，我是小白，我是小白。 由於第一次用簡書寫，所以可

機器學習-線性迴歸

本文參考吳恩達機器學習課程第2章 線性迴歸公式: f(x)=θ0+θ1xf(x)=\theta_0 + \theta_1xf(x)=θ0​+θ1​x 代價公式(誤差均值中的2用來抵消求導得來的2): J(θ0,θ1)=12m∑i=1m(fθ(x)i−yi)2J(

機器學習--線性迴歸1（一元線性迴歸、多元線性迴歸，誤差性質）

前面幾節都是監督學習方面的演算法，監督學習是指有目標變數或預測目標的機器學習方法，迴歸與分類的不同，就在於其目標變數是連續數值型，而分類的目標變數是標稱型資料，其實前面的Logistic迴歸就是迴歸的一種，他們的處理方法大同小異，在這裡系統的講解一下回歸的來龍去脈，理解影響迴

機器學習----線性迴歸原理---最下二乘法和梯度下降怎麼來的-----專案預測大學生是否被錄取程式碼案例

  這節課說明了 最下二乘法  是怎麼來的。   接下來是面試需要問的 誤差，（機器學習是建立在獨立同分布的基礎上，事實上，根本無法證明獨立同分布而且是正態分佈，我們假設的，只要模型可用，就可以） 獨立：   每個人的

【Stanford|斯坦福-機器學習:線性迴歸-單特徵梯度下降+動態圖】python3實現

五、完整測試程式碼實現 # coding=utf-8 # 線性迴歸-單特徵梯度下降練習 from numpy import * import matplotlib.pyplot as plt from matplotlib import animation import numpy as np # 【1

機器學習 -- 線性迴歸和邏輯迴歸的區別

　　迴歸演算法是一種通過最小化預測值與實際結果值之間的差距，而得到輸入特徵之間的最佳組合方式的一類演算法。對於連續值預測有線性迴歸等，而對於離散值/類別預測，我們也可以把邏輯迴歸等也視作迴歸演算法的一種。  　　線性迴歸與邏輯迴歸是機器學習中比較基礎又很常用的內容。線性迴歸主

機器學習 線性迴歸 (matlab實現)

代價函式：下降梯度：假設函式：x代表年齡，y代表身高預測身高與年齡的關係Code:x = load('ex2x.dat'); y = load('ex2y.dat'); [m,n] = size(x); x = [ones(m,1),x];%偏置項 x0 = 1 figur

機器學習筆記之R語言基礎5(T,F檢驗）

T檢驗 t檢驗分為單總體檢驗和雙總體檢驗。 單總體檢驗：【樣本平均數，總體平均數差異】 -檢驗一個樣本平均數與一個已知的總體平均數的差異是否顯著。 –當總體分佈是正態分佈，如總體標準差未知且樣本容量小於30，那麼樣本平均數與總體平均數的離差統計量呈t

機器學習線性迴歸中，用矩陣求導方法求最小二乘法的方法

在我們推導最小二乘法的時候，Andrew提供了兩種方法，一個是梯度下降法則，另一個是矩陣求導法則。後來在《機器學習實戰裡》面看線性迴歸程式碼的時候，裡面就是用了矩陣求導法則。要看懂矩陣求導法則，是需要一些矩陣論的知識的，還記得今年夏天我在苦逼地到處求矩陣論地速成

機器學習--線性迴歸--梯度下降的實現

## 機器學習--線性單元迴歸--單變數梯度下降的實現 ### 【線性迴歸】 ```text 如果要用一句話來解釋線性迴歸是什麼的話，那麼我的理解是這樣子的： **線性迴歸，是從大量的資料中找出最優的線性（y=ax+b）擬合函式,通過資料確定函式中的未知引數，進而進行後續操作（預測） **迴歸的概念是從統

大數據分析學習之使用R語言實戰機器學習視頻課程

https aid 通過 原理 har fsg follow mdf 學習 大數據分析學習之使用R語言實戰機器學習網盤地址：https://pan.baidu.com/s/1Yi9H6s8Eypg_jJJlQmdFSg 密碼：0jz3備用地址（騰訊微雲）：https://s

圖解機器學習-監督學習-線性迴歸總結

code:1.分析資料需要用什麼函式來擬合,給定已知sin函式的時候好擬合,但是未知函式是幾次,未知具體函式什麼樣子的時候擬合的時候需要自己觀察資料,並選擇相應的模型擬合,我自己編寫了一段code,擬合一下試試演算法的實用性. x=[1,3,5,6,2,4]'; y=[3,4,5,6,7,

機器學習之迴歸（1）線性迴歸

# -*- coding: utf-8 -*- """ Created on Sun Apr 15 16:18:34 2018 @author: Administrator """ import matplotlib.pyplot as plt       #pyplo