在廣義線性模型中留了個小彩蛋，今天就把這個彩蛋補完啦！ 這篇部落格主要解釋了怎麼去構造cost function(損失函式) 回顧線性模型 在廣義線性模型中已經推匯出線性迴歸模型的假設函式(hypothesis)：

hΘ(X)=ΘTX+b$$h_{\Theta }(X)={\Theta }^{T}X+b$$ 其中Θ=[θ1,θ2,……θm];X=[x1,x2,……,xm]$\Theta =[{\theta }_1,{\theta }_2,\dots \dots {\theta }_m];X=[x_1,x_2,\dots \dots ,x_m]$,b為偏置單元(bias unit)，是一個常數！ 這篇部落格就是來解釋為什麼cost function(損失函式)是J(Θ)=1/2∑#samplesi=1(hΘ(Xi)−yi)2$J(\Theta )=1/2\sum _{i=1}^{}$

#samples(hΘ(Xi)−yi)2

概率解釋 符號說明： yi$y^i$：第i個訓練樣本的真實值； hΘ(xi)$h_{\Theta }(x^i)$: 第i個訓練樣本的預測值，也記為y^$\hat{y}$； ε^i: 誤差（可能是由各種無法預知的狀況引起的）

假設 yi=hΘ(xi)+εi$y^i=h_{\Theta }(x^i)+{\epsilon }^i$ 也就是說真實值與預測值之間存在有誤差ε 其中ε~N(0,σ2)$N(0,{\sigma }^2)$, 均值為0，方差為,σ2$,{\sigma }^2$的正太分佈！ 所以p(εi)=12√πσ2e−(εi)22σ2$p({\epsilon }^i)=\frac{1}{\sqrt{2}\pi {\sigma }^2}{e}^{-\frac{({\epsilon }^i{)}^2}{2{\sigma }^2}}$, 正態分佈概率公式的啦 那麼為什麼εi服從(0,σ2)${\epsilon }^i服從(0,{\sigma }^2)$的正態分佈呢？？？ 重點內容：

有兩個解釋，第一個有點無腦哈哈哈哈哈哈 a. 使用正態分佈便於計算，因為後面計算涉及到極大似然估計，對數化後原來的指數函式會便於計算！ b. 中心極限定理證明了許多獨立的隨機變數之和會趨向於服從高斯分佈(正態分佈)，而誤差是由多個可認定為獨立因素結合在一起的結果。例如房價預測中，房價可能會取決於房主的心情，房子的位置，房子有沒有帶花園…….這些都可以認為是互不影響的因素，換句話說就是獨立的因素，因此將誤差假設為服從高斯分佈是比較合理的。

注:在機器學習中沒有完全正確的假設，只要假設合理，在現實中有足夠的泛化能力即可！

因此(yi|xi;Θ)$(y^i|x^i;\Theta )$便可認定為是服從均值為h

Θ(xi)，方差為σ2的高斯分布$h_{\Theta }(x^i)，方差為{\sigma }^2的高斯分布$,，這個可以理解為ε均值為0，而y=hΘ(x)+ϵ$y=h_{\Theta }(x)+ϵ$,因此yi$y^i$的均值即為hΘ(xi)+0$h_{\Theta }(x^i)+0$

寫成概率形式即是(

相關推薦

線性迴歸模型的概率解釋

在廣義線性模型中留了個小彩蛋，今天就把這個彩蛋補完啦！ 這篇部落格主要解釋了怎麼去構造cost function(損失函式) 回顧線性模型 在廣義線性模型中已經推匯出線性迴歸模型的假設函式(hypothesis)： hΘ(X)=ΘTX+bhΘ(X)=ΘTX+b 其中

利用sklearn 中的線性迴歸模型訓練資料 使用到的庫有numpy pandas matplotlib

** 利用sklearn 中的線性迴歸模型訓練資料 使用到的庫有numpy pandas matplotlib ** import pandas as pd import matplotlib.pyplot as plt filename='ENB2012_data.xl

單變數的線性迴歸模型演算法

【寫在前面的話】大概一年前看過Andrew老師的機器學習課程，受益良多。今年在用機器學習分類的時候，發現很多機器學習基礎知識都已經忘得一乾二淨，對自己很是無語。因此，作者打算重新溫習一篇Andrew老師的機器學習課程，並用部落格來記錄每一節課程的知識要點，加油吧！ 機器學習模型：

機器學習筆記（一）線性迴歸模型

一、線性迴歸模型 （一）引入—梯度下降演算法 1. 線性假設： 2. 方差代價函式：   3. 梯度下降：   4. : learning rate （用來控制我們在梯度下降時邁出多大的步子，值較大，梯度下降就很迅速） 值過大易造成無法收斂到minimum（每一步邁更大）

Tensorflow程式設計構造一個簡單的線性迴歸模型

模型 本次使用的是線性迴歸模型  y=Wx+b 其中 W 為權重， b 為偏置。  # -*- coding: utf-8 -*- import numpy as np import tensorflow as tf import matpl

莫煩python教程學習筆記——線性迴歸模型的屬性

# View more python learning tutorial on my Youtube and Youku channel!!! # Youtube video tutorial: https://www.youtube.com/channel/UCdyjiB5H8Pu7aDTNVXTT

tensorflow訓練線性迴歸模型

完整程式碼 import tensorflow as tf import matplotlib.pyplot as plt import numpy as np #樣本資料 x_train = np.linspace(-1,1,300)[:,np.newaxis] noise = np.random.n

scikit-learn 線性迴歸模型的score函式，返回值是決定係數R^2

http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html#sklearn.linear_model.LinearRegression http://scikit-le

線性迴歸模型的效能評價指標

本節討論下線性迴歸模型的效能評價指標 對於機器學習的兩個基本問題分類和迴歸的評價方式有所不同，分類問題一般通過分類準確率、召回率、F1值、ROC/AUC等手段進行模型的評估。對於迴歸問題，該如何評價？  這裡簡要列舉部分評估方法。 1、殘差估計 總體思想是計算實際值與預測值間的

TensorFlow 學習（四） 線性迴歸模型

線性迴歸演算法的主要優點是它的簡單性，線性迴歸的損失函式是平方損失。一般處理連續性問題，比如預測房價等，在本文中，使用 TensorFlow 訓練一個簡單線性迴歸模型。 線性迴歸模型 y = wx + b： 準備好特徵和目標值資料集 import tensorflow as tf i

Tensorflow學習筆記二--線性迴歸模型

學習完基本操作後，今天來學習一下如何用tensorflow建立線性迴歸模型。 一、首先建立一些資料 import numpy as np import tensorflow as tf import matplotlib.pyplot as plt # 隨機生成1000個點，圍繞在y=0.

Tensorflow 實現簡單線性迴歸模型

    Tensorflow是深度學習常用的一個框架，從目前官方文件看，Tensorflow支援CNN、RNN和LSTM演算法，這都是目前在Image，Speech和NLP領域最流行的深度神經網路模型。     為了熟悉和理解tensor

【機器學習】基於梯度下降法的自線性迴歸模型

回顧 關於梯度下降法 以及線性迴歸的介紹，我們知道了： 線性迴歸的損失函式為： J (

Day_2 簡單線性迴歸模型

  第一步：資料預處理 In [2]: import pandas as pd import numpy as np import matplotlib.pyplot as plt ​ dataset = pd.read_csv('studentscores.csv') X =

機器學習100天---day02 簡單線性迴歸模型

資料集： Hours,Scores 2.5,21 5.1,47 3.2,27 8.5,75 3.5,30 1.5,20 9.2,88 5.5,60

TensorFlow構造簡單的線性迴歸模型

例項：構造線性迴歸模型      x = np.float32(np.random.normal(8, 10, [1,100]))//生成1行100列的隨機資料矩陣 y = 0.5*x + 1.2 + np.random.normal(0, 0.01)//計算對應的y值 w

機器學習_線性迴歸模型

1.線性迴歸 1.1模型 1.1.1目標函式（損失函式、正則）     a.無正則：最小二乘線性迴歸（OLS）     b.L2正則：嶺迴歸（Ridge Regression）     c.L1正則：Lasso 1.1.2概率解釋     最小二乘線性迴歸等價於

【機器學習筆記02】最小二乘法（多元線性迴歸模型）

數學基礎 1.轉置矩陣 定義： 將矩陣A同序數的行換成列成為轉置矩陣ATA^TAT，舉例： A=(1203−11)A=\begin{pmatrix} 1 & 2 & 0 \\ 3 & -1 &

【機器學習筆記01】最小二乘法（一元線性迴歸模型）

【參考資料】 【1】《概率論與數理統計》 【2】 http://scikit-learn.org /stable/auto_examples/ linear_model/ plot_ols.html # sphx-glr-auto-examples-

深度學習&PyTorch筆記 （1）線性迴歸模型

首先建立模型 class LinearRegression(nn.Module): def __init__(self): super(LinearRegression, self).__init__() # nn.Module 的初