首先說一些關於課程的題外話。對於 Ng 的這個課程，筆者沒有選擇在 Coursera 上學習課程，一來是因為 Coursera 有自己的課程週期，但這個週期不一定適合所有人。其次 Coursera 的課程作業是使用 Octave 語言，而筆者個人覺得不管是學習還是未來使用 Python 都會是更合適的語言。所以最筆者選擇了 課程視訊 + Python 實現作業 的形式。

點選 課程視訊 你就能不間斷地學習 Ng 的課程，關於課程作業的 Python 程式碼已經放到了 Github 上，點選 課程程式碼 就能去 Github 檢視（ 無法訪問 Github 的話可以點選 Coding 檢視 ），程式碼中的錯誤和改進歡迎大家指出。

以下是 Ng 機器學習課程第一週的筆記。

機器學習

什麼是機器學習？Arthur Samuel 給出的一個非正式定義是：不通過明確地程式設計，使計算機擁有通過學習解決問題的能力。
機器學習的演算法包括 監督學習，無監督學習，強化學習，推薦系統等。我們第一週學習的 線性迴歸 屬於 監督學習。

迴歸問題

學習的目的是為了解決問題。迴歸問題是非常常見的一類問題，目的是為了找尋變數之間的關係。比如要從資料中找尋房屋面積與價格的關係，年齡與身高的關係，氣體壓力和體積的關係等等。而機器學習要做的正是要讓機器自己來學習這些關係，併為對未知的情況做出預測。

監督學習的工作方式

首先要有一個訓練資料集（ Training Set ），其中包含資料對應問題的正確結果。通過我們的學習演算法 （ Learning Algorithm ） 學習訓練資料集，最終獲得一個函式 （ Hypothesis ），這個函式就是我們需要的 預測函式

，能夠對 訓練集的資料 與 其它資料輸入 做出比較準確的預測。

對於 線性迴歸 ，我們的 Hypothesis 就是：

hθ(x)=θ0+θ1x1+θ2x2+⋯+θnxn=θTx$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n={\theta }^{T}x$$
其中的 θi${\theta }_i$ 就是學習演算法需要學習的引數，而 xi$x_i$ 是我們對於問題所選取的特徵。

代價函式

那麼如何學習 預測函式 中的 θi${\theta }_i$ 呢？我們需要引入 代價函式 的概念，它的作用是評估真實與預測值之間的差異。一旦有了這個函式，學習演算法的目標就是找到 θi${\theta }_i$ 使得這個函式的值儘可能的小。對於 線性迴歸，我們使用的 代價函式 是：

J(θ)

=12m∑i=1m(hθ(x(i))−y(i))2$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
其中 m$m$ 是樣本數，y$y$ 是訓練資料集已知答案，上標 i$i$ 表示第幾組訓練資料，代價函式 J(θ)$J(\theta )$ 是關於 θ$\theta$ 的函式。當然為了是表達更簡潔、編寫的程式更加清晰，我們通常會使用它的矩陣表達：
J(θ)=12m(Xθ−y)T(Xθ−y)$$J(\theta )=\frac{1}{2m}(X\theta -y{)}^T(X\theta -y)$$
式中 X$X$ 為所有訓練特徵資料組成的矩陣，y$y$ 為訓練資料集已知答案的列向量：
X=⎡⎣⎢⎢⎢⎢⎢11⋮1x(1)1x(2)1⋮x(m)1x(1)2x(2)2⋮x(m)2⋯⋯⋱⋯x(1)nx(2)n⋮x(m)n⎤⎦⎥⎥⎥⎥⎥y=⎡⎣⎢⎢⎢⎢y(1)y(2)

相關推薦

吳恩達機器學習：線性迴歸

首先說一些關於課程的題外話。對於 Ng 的這個課程，筆者沒有選擇在 Coursera 上學習課程，一來是因為 Coursera 有自己的課程週期，但這個週期不一定適合所有人。其次 Coursera 的課程作業是使用 Octave 語言，而筆者個人覺得不管是學習還

吳恩達機器學習之邏輯迴歸理論部分

一.特徵函式 對應分類問題，我們先針對二分類問題進行討論，對應計算機而言，分類即將資料按其特徵值不同分為不同的集合，僅對應二分類問題，我們只需考慮分為：正類和負類，為此我們引入特徵函式。 y=1 — 代表二分類中的正類 y=0 — 代表二分類中的反類 這是特殊函式

吳恩達機器學習：支援向量機

這次的課程筆記和上次隔了好久，因為為了搞懂 SVM 花了不少時間。和之前 神經網路 課程一樣，Ng 在 Coursera 上講述的內容非常有限，要搞懂 SVM 你只能尋求於其他方面的資料。經過對網上一些內容的對比後發現斯坦福的 CS229 講義寫得非常清晰。CS

吳恩達機器學習：方差與偏差

在前幾周的課程裡，我們已經學習了 監督學習 中的 線性迴歸、邏輯迴歸、神經網路（ 點選進入筆記 ）。回顧課程作業，所有的樣本資料都被用來訓練模型。驗證模型時，也只是將模型的資料結果與正確結果作對比來看正確率。 這樣的訓練方法是否正確？正確率是否能作為評價模型的標

吳恩達機器學習：異常檢測與協同過濾

這是吳恩達機器學習的最後一課，這次學習的內容是機器學習的常見應用，異常檢測與協同過濾。課程中介紹的異常檢測主要基於 正態分佈，用於檢測出偏離正常值的資料。而協同過濾是 推薦系統 的一部分，利用已有使用者的評分來給你推薦商品、視訊等。 點選 課程視訊 你就能不間

【吳恩達 機器學習】 邏輯迴歸演算法Matlab實現

一，假設函式： 1） 邏輯迴歸（Logistic Regression)，Logistic function, Sigmoid function是同一個意思，函式形式（假設函式形式）如下: 邏輯迴歸是二分類演算法，hθ(x)>=0.5hθ(x)&g

【吳恩達 機器學習】邏輯迴歸的損失函式偏導

1) 邏輯迴歸（Logistic Regression, Logistic Function, Sigmoid Function）的損失函式為： J(θ)=−1m∑i=1m[y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]J(θ

（吳恩達機器學習）Logistic 迴歸

邏輯迴歸提出的原因： 對於分類問題，為什麼不能用我們之前學習的線性迴歸演算法來解決呢？有以下兩點： 1：不能很好地說明實際情況的真正意義 2：函式值可能大於1或者小於0（對於二類分類0,1） 假設函式： 為了使函式值在0~1之間，假設函式h(x)從h(

【吳恩達機器學習筆記】第三章：線性迴歸回顧

本章是對線性代數的一些簡單回顧，由於之前學過，所以這裡只是簡單的將課程中的一些例子粘過來 矩陣表示 矩陣加法和標量乘法 矩陣向量乘法 用矩陣向量乘法來同時計算多個預測值 矩陣乘法 用矩陣乘法同時計算多個迴歸

【吳恩達機器學習筆記】第五章：多變數線性迴歸

目錄 多特徵下的目標函式 多元梯度下降法 多元梯度下降法中的方法 特徵縮放 選擇學習率 特徵和多項式迴歸 正規方程（區別於迭代法的直接解法） 正規方程在矩陣不可逆的情況下的解決方法

吳恩達機器學習程式設計題ex1下 多變數線性迴歸： (python版含題目要求、程式碼、註解)

在這部分中，你將使用多變數線性迴歸去預測房屋價格，假設你要賣掉房子而且你想知什麼是一個好的市場價格，去做的一個方式就是首先收集最近出售的房子資訊並製作房屋價格的模型，檔案ex1data2/txt包含了一個房屋價格在Portland的訓練集，第一列是房子大小，第二列是臥室的

吳恩達機器學習程式設計題ex1上 單變數線性迴歸： (python版含題目要求、程式碼、註解)

不得不說安卓老師是真的用心良苦，給我們把程式設計題弄成了填空題，但是很可惜原版使用的是Octave和MATLAB所以作為初學者我就直接當程式設計題用python去做了 問題：讓你繪製一個5階單位陣 答案：   在本練習的這一部分，你將應用線性迴歸來實現通

吳恩達機器學習學習筆記第五章：多變數線性迴歸

1.Multiple features多特徵 現在我們有多個特徵了，比如還是預測房子價格X不僅僅是面積大小還有臥室數量，樓層數量以及房子的年齡 表達形式的記法： n=4即有4個特徵（總面積 臥室數量 樓層數 房子年齡） m=47即有47個樣本（47個房子）

吳恩達機器學習第一次作業：線性迴歸

0.綜述      給出房價與房屋面積的關係，利用梯度下降的方法進行資料擬合，並對給定的房屋面積做出對房價的預測。 1.warmUpExercise       輸出5*5的單位矩陣 function A = warmUpExercise() %WARMUPEXE

吳恩達機器學習作業Python實現(一)：線性迴歸

單變數線性迴歸 在本部分的練習中，您將使用一個變數實現線性迴歸，以預測食品卡車的利潤。假設你是一家餐館的執行長，正在考慮不同的城市開設一個新的分店。該連鎖店已經在各個城市擁有卡車，而且你有來自城市的利潤和人口資料。 您希望使用這些資料來幫助您選擇將哪個城市擴充

吳恩達機器學習-多變數線性迴歸 吳恩達機器學習 - 多變數線性迴歸

原 吳恩達機器學習 - 多變數線性迴歸 2018年06月18日 17:50:26 離殤灬孤狼 閱讀數：84 收起

機器學習筆記（參考吳恩達機器學習視訊筆記）04_多變數線性迴歸

4 多變數線性迴歸 4.1 多維特徵 代表特徵矩陣中第i行的第j個特徵，也就是第i個訓練例項的第j個特徵。 支援多變數的假設函式h表示為：，其中，引入。此時模型中的引數是一個n+1維的向量，特徵矩陣X的維度是m*(n+1)。因此公式可以簡化為：。 4.2 多變數梯度下降 在多

吳恩達機器學習課程筆記章節二單變數線性迴歸

1、模型描述 Univariate（One variable）Linear Regression m=訓練樣本的數目，x's=輸入的變數/特徵，y's=輸出變數/目標變數 2、代價函式 基本定義： 3、代價函式（一） 回顧一下，前面一些定義： 簡化的假設函式，theta0=0，得到假

吳恩達機器學習之多變數線性迴歸實現部分

C++實現梯度下降法 “linear_regression.h” //多變數線性迴歸模型 struct elem_var2 { double y; double* x; //用陣列傳入自變數資料(x[0]=1,便於之後的計算) }; class var2

吳恩達機器學習之多變數線性迴歸理論部分

本部落格主要參考此部落格：戀雨心 一.Multiple Features — 多維特徵 相對於單變數線性迴歸模型，多變數線性迴歸模型適用於處理多個變數/特徵。 對比： 以之前我們介紹的單變數線性迴歸模型為例： 用房屋面積x預測房子價格y。 現在我們對房價模型增加更多的特徵，例如房間