#機器學習筆記01#多變數線性迴歸

阿新 • • 發佈：2018-12-19

1多變數線性迴歸

1.1 回顧單變數線性迴歸

訓練集提出： Training set of housing prise 以房屋價格為例

Size in feet(x)	Price in 1000’s (y)
2104	460
1416	232
1532	315
852	178
…	…

假設函式Hypothesis $h_{\Theta }(x) = \Theta _{0 } + \Theta _{1}x$
代價函式 cost function 平方誤差和函式： $J(\Theta _{0},\Theta _{1}) = minmize \frac{1}{2m}\sum\left ( h_{\Theta } (x^{i}) - y_{i} \right )^{2}$
梯度下降 Want min J(theat 0 , theat 1 ); $\Theta _{j} := \Theta _{j}- \alpha \frac{\partial J\left ( \Theta _{0},\Theta _{1} \right )}{\partial \Theta _{j}}$ 其中α表示步長，每次前進梯度的權重；每次對θi進行負梯度方向的更新，一旦對應的代價函式取值足夠小則認為找到區域性最小值。並且

$temp0 := \Theta _{0}- \alpha \frac{\partial J\left ( \Theta _{0},\Theta _{1} \right )}{\partial \Theta _{0}}$ $temp1 := \Theta _{1}- \alpha \frac{\partial J\left ( \Theta _{0},\Theta _{1} \right )}{\partial \Theta _{1}}$ 此處需要同步更新θ引數。
梯度下降結合線性迴歸,求導計算結果如下 $\Theta _{0}:= \Theta _{0}- \alpha \frac{1}{m}\sum (h_{\Theta }(x^{i})-y^{i})$ $\Theta _{1}:= \Theta _{1}- \alpha \frac{1}{m}\sum (h_{\Theta }(x^{i})-y^{i})\cdot x^{i}$

1.2多元梯度下降問題

預測函式多變數預測函式 $h_{\Theta }(x) = \Theta _{0 }x_{0} + \Theta _{1}x_{1}+\Theta _{2}x_{2}+...\Theta _{n}x_{n}$ 方便起見x0均為1；
多特徵從多個引數迴歸分析模型，如房屋價格訓練集如下：

面積	房間數量	樓層	房齡	價格
2104	5	1	45	460
1464	3	2	40	232
…	…	…	…	…
1534	2	1	36	315

$x^i 表示一個包含所有特徵的列向量（i = 0,1,...n）;x_{j}表示某一特徵的全部樣本的列向量;$

含所有特徵的列向量（i=0,1,...n）;xj表示某一特徵的全部樣本的列向量;

x_{j}^i表示樣本空間中x（i，j）的資料

代價函式cost function $J(\Theta _{0},\Theta _{1}...\Theta _{n}) = \frac{1}{2m}\sum\left ( h_{\Theta } (x^{i}) - y_{i} \right )^{2}$
梯度下降計算 $\Theta _{j}:= \Theta _{j}- \alpha \frac{1}{m}\sum (h_{\Theta }(x^{i})-y^{i})\cdot x^{i}_{j} (j = 0,1,2...n)$
特徵縮放問題 1）特徵縮放事用來標準化資料特徵的範圍。針對多組特徵，當其中幾個特徵變換範圍很大時，進行梯度下降過程中產生的收斂軌跡效率會很低。恰到好處的特徵縮放可以使整個等高區間類似於圓形，加快收斂速度。 2）特徵縮放方法 ①、訓練樣本/樣本最大值； ②、(訓練樣本–平均樣本值）/ 樣本範圍；縮放後的特徵值不要求精確，但是不同特徵值之間差距不應大，減少偏移程度。

1.3正規方程

來源於多元方程的極值處偏導數為0。對於求解預測函式θ的數值，除了使用梯度下降方法，還可以使用標準方程（Normal equation）。假設訓練資料集有m個，特徵有n個，即有m行資料集，n個列特徵，得正規方程如下： $X = \begin{bmatrix} x_{0}^{T}\\ x_{1}^{T}\\ x_{2}^{T}\\ ...\\ x_{m}^{T}\\ \end{bmatrix} = \begin{bmatrix} 1& x_{1}^{1} & x_{2}^{1} & ... & x_{n}^{1}\\ 1& x_{1}^{2} & x_{2}^{2} & ... & x_{n}^{2}\\ 1& x_{1}^{3} & x_{2}^{3} & ... & x_{n}^{3}\\ ...& ... & ... & ... &...\\ 1 & x_{1}^{m} & x_{2}^{m} & ...& x_{n}^{m} & \end{bmatrix}_{m*n+1}$ $\Theta = \begin{bmatrix} \Theta _{0}\\ \Theta _{1}\\ \Theta _{2}\\ ...\\ \Theta _{n} \end{bmatrix}_{n+1*1}$ $Y = \begin{bmatrix} y _{0}\\ y _{1}\\ y _{2}\\ ...\\ y _{n} \end{bmatrix}_{n+1*1}$ 推導得出係數值的解：（偏導的推導過百度） $\Theta = (X^{T}X)^{-1}X^{T}Y$

1.4兩種方法區別

梯度下降的學習速率會越來越小，需要調整改變；且迭代次數過多；正規方程不需要迭代，但是需要計算矩陣的逆，運算量大；經驗來說1萬樣本空間以內的資料可優先考慮正規方程解法，對於過多的訓練集有梯度下降法。

1.5雜項

1.只要學習速率足夠小，函式一定會收斂，但是迭代次數會增加。 2.正規方程一般均存在逆矩陣，但是當訓練集個數m比特徵n小時，可以考慮減少不必要的特徵數量。 3.學習效率一般試探規律：0.001，0.003，0.01，0.03，0.1，0.3，1…

備註:學習資源來自網易微專業吳恩達老師的機器學習視訊，以及其他大佬的總結，有錯誤請指正，謝謝。

#機器學習筆記01#多變數線性迴歸

1多變數線性迴歸 1.1 回顧單變數線性迴歸訓練集提出： Training set of housing prise 以房屋價格為例 Size in feet(x) Price in 1000’s (y) 2104 460 1416 2

吳恩達機器學習筆記 —— 5 多變數線性迴歸

本篇主要講的是多變數的線性迴歸，從表示式的構建到矩陣的表示方法，再到損失函式和梯度下降求解方法，再到特徵的縮放標準化，梯度下降的自動收斂和學習率調整，特徵的常用構造方法、多維融合、高次項、平方根，最後基於正規方程的求解。在平時遇到的一些問題，更多的是多特徵的多變數的表示方法多元線性迴歸中的損失

吳恩達機器學習筆記 —— 2 單變數線性迴歸

第一章講述了基本的機器學習的概念以及分類，這裡從單變數的線性迴歸入手，吳恩達講解了機器學習中的幾個重要因素，如模型、損失函式、優化方法等首先以房價預測入手：房子的面積每平米的房價 2104 460 1416 232 1534 315 852 178 其中： m 為

Stanford公開課機器學習---week2-1.多變數線性迴歸（Linear Regression with multiple variable）

3.多變數線性迴歸（Linear Regression with multiple variable） 3.1 多維特徵(Multiple Features) n 代表特徵的數量 x(i)代表第 i 個訓練例項,是特徵矩陣中的第 i 行,是一個向

吳恩達（Andrew Ng）《機器學習》課程筆記（1）第1周——機器學習簡介，單變數線性迴歸

吳恩達（Andrew Ng）在 Coursera 上開設的機器學習入門課《Machine Learning》：目錄一、引言一、引言 1.1、機器學習（Machine Learni

Bobo老師機器學習筆記第五課-線性迴歸演算法的評估指標

評價線性迴歸的指標有四種，均方誤差（Mean Squared Error）、均方根誤差（Root Mean Squared Error）、平均絕對值誤差（Mean Absolute Error）以及R Squared方法。 sklearnz中使用的，也是大家推薦的方法是R Squared方法。

機器學習筆記（一）線性迴歸模型

一、線性迴歸模型（一）引入—梯度下降演算法 1. 線性假設： 2. 方差代價函式： 3. 梯度下降： 4. : learning rate （用來控制我們在梯度下降時邁出多大的步子，值較大，梯度下降就很迅速）值過大易造成無法收斂到minimum（每一步邁更大）

機器學習筆記（二）線性迴歸實現

一、向量化對於大量的求和運算，向量化思想往往能提高計算效率（利用線性代數運算庫），無論我們在使用MATLAB、Java等任何高階語言來編寫程式碼。運算思想及程式碼對比的同步更新過程向量化向量化後的式子表示成為：其中是一個向量，是一個實數，是一個向量，

Tensorflow學習筆記：多輸入線性迴歸神經網路

def myregression(): """ 實現多維輸入的線性迴歸神經網路假設輸入為x = [a,b,c,d,e,f,g],正確答案為:y_true 則y_true = x1 * a + x2 * b + x3 * c + x4 * d + x5 * e + x6 * f + x7

CSDN機器學習筆記一概述、線性迴歸

一、課程知識點講師：唐宇迪本次課程 1.系列課程環境配置 2.機器學習概述 3.線性迴歸演算法原理推導 4.邏輯迴歸演算法原理 5.最優化問題求解 6.案例實戰梯度下降一、機器學習處理問題過程及常用庫 1. 機

吳恩達機器學習練習1——單變數線性迴歸

機器學習練習1——單變數線性迴歸代價函式：梯度下降練習1資料集代價函式梯度下降法視覺化J 單變數線性迴歸代價函式：梯度下降練習1 資料集 X代表poplation，y代表profits 資料集的視覺化 function plotData(x,

機器學習入門之單變數線性迴歸（上）——梯度下降法

在統計學中，線性迴歸（英語：linear regression）是利用稱為線性迴歸方程的最小二乘函式對一個或多個自變數和因變數之間關係進行建模的一種迴歸分析。這種函式是一個或多個稱為迴歸係數的模型引數的線性組合。只有一個自變數的情況稱為簡單迴歸，大於一個自變數情況的叫做多元迴歸（multi

機器學習筆記（參考吳恩達機器學習視訊筆記）04_多變數線性迴歸

4 多變數線性迴歸 4.1 多維特徵代表特徵矩陣中第i行的第j個特徵，也就是第i個訓練例項的第j個特徵。支援多變數的假設函式h表示為：，其中，引入。此時模型中的引數是一個n+1維的向量，特徵矩陣X的維度是m*(n+1)。因此公式可以簡化為：。 4.2 多變數梯度下降在多

【吳恩達機器學習筆記】第五章：多變數線性迴歸

目錄多特徵下的目標函式多元梯度下降法多元梯度下降法中的方法特徵縮放選擇學習率特徵和多項式迴歸正規方程（區別於迭代法的直接解法）正規方程在矩陣不可逆的情況下的解決方法

吳恩達機器學習學習筆記第五章：多變數線性迴歸

1.Multiple features多特徵現在我們有多個特徵了，比如還是預測房子價格X不僅僅是面積大小還有臥室數量，樓層數量以及房子的年齡表達形式的記法： n=4即有4個特徵（總面積臥室數量樓層數房子年齡） m=47即有47個樣本（47個房子）

吳恩達（Andrew Ng）《機器學習》課程筆記（2）第2周——多變數線性迴歸

目錄四、多變數線性迴歸（Linear Regression with multiple variables） 4.1. 多維特徵（Multiple features）前面介紹的是單變數線性迴歸如下圖所示：

Andrew機器學習課程章節4——多變數線性迴歸

Normal equation:(正規方程) 其中：X為1列值為1的vector（其對應額外的特徵變數）+xi的轉置合併的矩陣。正規方程與梯度下降相比較的優缺點：優點:1.不需要設定初試的學習率α 2.不需

吳恩達機器學習-多變數線性迴歸吳恩達機器學習 - 多變數線性迴歸

原吳恩達機器學習 - 多變數線性迴歸 2018年06月18日 17:50:26 離殤灬孤狼閱讀數：84 收起

吳恩達機器學習課程筆記章節二單變數線性迴歸

1、模型描述 Univariate（One variable）Linear Regression m=訓練樣本的數目，x's=輸入的變數/特徵，y's=輸出變數/目標變數 2、代價函式基本定義： 3、代價函式（一）回顧一下，前面一些定義：簡化的假設函式，theta0=0，得到假

吳恩達機器學習之多變數線性迴歸實現部分

C++實現梯度下降法 “linear_regression.h” //多變數線性迴歸模型 struct elem_var2 { double y; double* x; //用陣列傳入自變數資料(x[0]=1,便於之後的計算) }; class var2

#機器學習筆記01#多變數線性迴歸

1多變數線性迴歸

1.1 回顧單變數線性迴歸

1.2多元梯度下降問題

1.3正規方程

1.4兩種方法區別

1.5雜項

相關推薦