在《機器學習筆記02》中已經講了多變數的梯度下降法，以及其他的一些小技巧和注意事項。下面來講一種更加數學化的方法，我們稱之為Normal equation，網上也沒找到什麼標準的翻譯，就暫且稱其為矩陣方程法吧。

一、簡單回顧梯度下降

如下圖所示，我們在進行梯度下降的時候，一般都會執行多次迭代，才能得出最佳的一組 θ 值。

我們能不能只用一次數學意義上的計算就能把所有的 θ 值都求出來呢，答案是可以的，我們用到的就是 normal equation（矩陣方程法）。

二、Normal equation

先來看看單元變數的Normal equation方法:

1.當 θ

∈R 時，誤差函式為

J(θ)=aθ2+bθ+c此時只需要很簡單地對 θ 求導數，使其導數為 0 即可求出 θ：Let∂∂θJ(θ)=0
2.當 θ∈Rn+1 時，誤差函式為J(θ0,θ1,...,θn)=12m∑i=1m(hθ(x(i))−y(i))2我們只要對每個 θ 求偏導數，並使其為 0 即可求出每個 θ 的值：Let∂∂θjJ(θ)=0(j=0,1,2,...,n)這種方法是不是很簡單。

我們來看個已經用爛了的例子：房價預測
假設我們有如下的訓練資料（樣本數量m=4,特徵數量n=4）

Size(feet2)	Number of bedrooms	Number of floors	Age of house(years)	Price($1000)
x0	x1	x2	x3	x4	y
1	2104	5	1	45	460
1	1416	3	2	40	232
1	1534	3	2	30	315
1	852	2	1	36	178

我們記

X=⎡⎣⎢⎢⎢⎢11112104141615348525332122145403036⎤⎦⎥⎥⎥⎥;y=⎡⎣⎢⎢⎢⎢460232315178⎤⎦⎥⎥⎥⎥上面的 X 為一個 4×5 的矩陣， y 為一個 4×1 的向量（矩陣）。

接著來看看對上面這個例子的一般性公式(formulas)。假設我們有 m

組訓練資料：(x(1),y(1)),(x(2),y(2)),...,x(m),y(m)；其中每組資料均有 n 個特徵。我們記:

x(i)1≤i≤m=⎡⎣⎢⎢⎢⎢⎢⎢x(i

相關推薦

機器學習筆記03：Normal equation與梯度下降的比較

在《機器學習筆記02》中已經講了多變數的梯度下降法，以及其他的一些小技巧和注意事項。下面來講一種更加數學化的方法，我們稱之為Normal equation，網上也沒找到什麼標準的翻譯，就暫且稱其為矩陣方程法吧。 一、簡單回顧梯度下降 如下圖所示，我們

Andrew Ng 機器學習筆記 15 ：大資料集梯度下降

隨機梯度下降 隨機梯度下降原理 小批量梯度下降 小批量梯度下降vs隨機梯度下降 隨機梯度下降的收

斯坦福CS229機器學習課程筆記一：線性迴歸與梯度下降演算法

機器學習三要素 機器學習的三要素為：模型、策略、演算法。 模型：就是所要學習的條件概率分佈或決策函式。線性迴歸模型 策略：按照什麼樣的準則學習或選擇最優的模型。最小化均方誤差，即所謂的 least-squares(在spss裡線性迴歸對應的模組就叫OLS即Ordinary Least Squares)：

機器學習筆記之簡化成本函式和梯度下降

Simplified Cost Function and Gradient Descent Note: [6:53 - the gradient descent equation should have a 1/m factor] We can compress our c

機器學習筆記1：機器學習定義與分類

機器學習定義與分類 Andrew Ng機器學習課程學習筆記1 定義 Arthur Samuel (1959) Machine Learning: Field of study that gives computers the ability to l

機器學習筆記1：機器學習的動機與應用

目標：機器學習有意義；機器學習的應用；所有人有能力進行機器學習的研究。 預備知識：隊、列、二叉樹、線性代數 預備軟體：Octave、Matlab 機器學習：1959年由Arthur提出：在不直接對對問題賦予計算機學習能力的一個領域。寫一個下棋，和自己下棋，程式自己和自己

機器學習筆記四：線性迴歸回顧與logistic迴歸

一.再看線性迴歸 之前我們選擇線性迴歸的時候，只是認為那些資料看上去很符合線性的樣子，選擇最小平方損失函式的時候，也是直接提出來的，沒有考慮過為什麼會是這個樣子。接下來就從概率的角度來解釋這些問題。 首先假設目標變數和輸入與下面這個方程相關： 其中是一

機器學習 第二章：模型評估與選擇-總結

但是 交叉 roc曲線 掃描 com ram hidden 技術分享 preview 1、數據集包含1000個樣本，其中500個正例，500個反例，將其劃分為包含70%樣本的訓練集和30%樣本的測試集用於留出法評估，試估算共有多少種劃分方式。 留出法將數據集劃分為兩個互斥的

機器學習筆記(3)：多類邏輯回歸

display images 可能 https 都沒有 -s labels 明顯 交叉 仍然是 動手學嘗試學習系列的筆記，原文見：多類邏輯回歸 — 從0開始 。 這篇的主要目的，是從一堆服飾圖片中，通過機器學習識別出每個服飾圖片對應的分類是什麽（比如：一個看起來

Spring4學習筆記一：環境搭建與插件安裝

str nag j2e 容器 獲取 相關 market 至少 ips 一：環境搭建 1：開發環境：JDK安裝、Eclipse安裝 2：數據庫：Mysql、Sequel Pro（數據庫可視化操作工具） 3：web服務器：Tomcat下載，並且把tomcat配置到Eclip

機器學習筆記十三：Ensemble思想(上)

形象 alt fill data stat cli views LV 元素 從上面幾篇的決策樹開始,就能夠開始進入到集成學習(ensemble learning)了,

Andrew Ng 機器學習筆記 16 ：照片OCR

OCR的大概步驟 機器學習流水線（machine learning pipeline） 滑動窗體 上限分析 照片OCR是指照片光學字元識別（photo optical ch

Andrew Ng 機器學習筆記 14 ：異常檢測

異常檢測問題 高斯分佈 高斯分佈中，μ和σ的關係 異常檢測的具體演算法 異常檢測演算法步驟總結 異常檢測 VS 監督學習 對不服從高斯分佈的資料進行

Andrew Ng 機器學習筆記 13 ：降維(dimensionality reduction)

資料壓縮 二維降到一維 三維降到二維 視覺化資料 主成分分析（PCA） PCA的執行過程2D -&

Andrew Ng 機器學習筆記 12 ：聚類

K均值 (K-means)演算法 K-Means的規範化描述 異常情況 K均值的代價函式 隨機初始化 肘部法則 (Elbow Method)

Andrew Ng 機器學習筆記 11 ：支援向量機(Support Vector Machine)

構建支援向量機 1.替換邏輯迴歸函式 2.去除多餘的常數項 1/m 3.正則化項係數的處理 大間距分類器 SVM決

Andrew Ng 機器學習筆記 10 ：評價學習演算法

評估假設函式 模型選擇 正則化引數λ對假設函式的影響 λ 在訓練集上的變化 λ在交叉驗證集上的變化 學習曲線(Lear

Andrew Ng 機器學習筆記 09 ：神經網路

非線性假設 神經網路邏輯單元 激勵函式 輸入層，輸出層，隱藏層 前向傳播(forward propagation)的向量化實現 AND、OR、NOT、XNOR的實

Andrew Ng 機器學習筆記 07 ：Octave/Matlab 使用說明

數學運算 邏輯運算 賦值運算 矩陣的表示 繪製直方圖 獲取矩陣的尺寸 載入檔案 清空變數 擷取矩陣部分元素

Docker學習筆記一：Docker簡介與安裝

Docker是什麼？ docker是一個開源的軟體部署解決方案； docker也是輕量級的應用容器框架； docker可以打包、釋出、執行任何的應用。 Docker是一個開源的引擎，可以輕鬆的為任何應用建立一個輕量級的、可移植的、自給自足的容器。開發者在筆記本上編譯測試通過的容器可以批量地在生產環境中