1. 程式人生 > >機器學習六--回歸--簡單線性回歸Simple Linear Regression

機器學習六--回歸--簡單線性回歸Simple Linear Regression

simple 4.2 port ear 類別 eric ted error bsp

一、回歸和分類

  回歸(regression)y變量為連續數值型(continuous numerical variable),如房價,降雨量。

  分類(classification)y變量為類別型categorical variable。如顏色類別,電腦品牌等。

二、統計量:描述數據特征

  2.1集中趨勢衡量:均值(mean),中位數,眾數。

  2.2離散程度衡量:方差技術分享圖片 標準差S

三、簡單線性回歸介紹

  1、簡單線性回歸包含一個自變量(x)和一個因變量(y)

  2、以上兩個變量的關系用一條直線來表示。

  3、如果包含兩個以上自變量,則稱多元回歸分析(mutiple regression)

四、 簡單線性回歸模型 4.1 被用來描述因變量(y)和自變量(X)以及偏差(error)之間關系的方程叫做回歸模型 4.2 簡單線性回歸的模型是: 技術分享圖片 其中: 參數 偏差      4.3關於偏差ε的假定     1、 是一個隨機的變量,均值為0       2、ε的方差(variance)對於所有的自變量x是一樣的     3、 ε的值是獨立的     4、 ε滿足正態分布 五、簡單線性回歸方程 E(y) = β01
x 這個方程對應的圖像是一條直線,稱作回歸線 其中,β0是回歸線的截距 β1是回歸線的斜率 E(y)是在一個給定x值下y的期望值(均值)
六、估計的簡單線性回歸方程 y?=b0+b1x 這個方程叫做估計線性方程(estimated regression line) 其中,b0是估計線性方程的縱截距       技術分享圖片 b1是估計線性方程的斜率       技術分享圖片

y?是在自變量x等於一個給定值的時候,y的估計值
  最佳的回歸線滿足條件:       技術分享圖片

import numpy as np
x=[1,3,2,1,3]
y=[14,24,18,17,27]
def fitSLR(x,y):
  n=len(x)
  fenzi=0
  fenmu=0
  for i in range(n):
    fenzi+=(x[i]-np.mean(x))*(y[i]-np.mean(y))#分子
    fenmu+=(x[i]-np.mean(x))**2#分母
  b1=fenzi/fenmu
  b0=np.mean(y)-b1*np.mean(x)
  return b0,b1
def predict(x,b0,b1):
  y=b0+b1*x
  return y
b0,b1=fitSLR(x,y)
print(b0,‘###‘,b1)
predict(6,b0,b1)


機器學習六--回歸--簡單線性回歸Simple Linear Regression