吳恩達機器學習筆記 —— 2 單變數線性迴歸
第一章講述了基本的機器學習的概念以及分類，這裡從單變數的線性迴歸入手，吳恩達講解了機器學習中的幾個重要因素，如模型、損失函式、優化方法等
首先以房價預測入手：
| 房子的面積 | 每平米的房價 |
|---|---|
| 2104 | 460 |
| 1416 | 232 |
| 1534 | 315 |
| 852 | 178 |
其中：
- m 為 樣本的數量
- x 是樣本的特徵
- y 是預測的值
- \((x,y)\) 就是一條樣本資料
- \(({ x }^{ (i) },{ y }^{ (i) })\) 是第i條樣本
機器學習的過程就是通過上面的例子學習一個模型，當再次有資料x進來的時候，能給出對應的y值
代價函式就是真實的值與我們預測的值之間的偏差，由於偏差有可能正，有可能負，因此使用均方差來表示。
不同的引數對應的損失值是不一樣的，最終機器學習的目的就是尋找這個損失之最低的方法。
在二維特徵下，可以看成一個關於損失函式的等高線圖。同一個線圈，損失函式的值是相同的。在越來越靠近中心點時，可以看到預測的直線越來越貼近樣本值。證明在等高線最中心的位置（最低點），損失值是最小的。
梯度下降可能找到是一個區域性最優解，而不是全域性最優解。
- 引數隨著每次迭代而改變
- α是學習率，可以控制每次步長的變化
- 每次改變的長度是基於偏導求解的
- 在修改引數時，應該統一計算修改的值，再統一進行調整
無論在最低點的哪一側，公式都能保證θ是朝著最低點的位置在變化。
學習率的大小決定了能否快速找到最優解。
隨機梯度下降在靠近最優解的時候，步長將會變得越來越小。
線性迴歸中，梯度下降是上面這樣的。
針對優化的方法，有batch梯度下降、隨機梯度下降、mini-batch梯度下降等等
batch梯度下降
隨機梯度下降
mini-batch梯度下降
相關推薦
吳恩達機器學習筆記 —— 2 單變數線性迴歸
第一章講述了基本的機器學習的概念以及分類，這裡從單變數的線性迴歸入手，吳恩達講解了機器學習中的幾個重要因素，如模型、損失函式、優化方法等 首先以房價預測入手： 房子的面積 每平米的房價 2104 460 1416 232 1534 315 852 178 其中： m 為
吳恩達機器學習筆記 —— 5 多變數線性迴歸
本篇主要講的是多變數的線性迴歸，從表示式的構建到矩陣的表示方法，再到損失函式和梯度下降求解方法，再到特徵的縮放標準化，梯度下降的自動收斂和學習率調整，特徵的常用構造方法、多維融合、高次項、平方根，最後基於正規方程的求解。 在平時遇到的一些問題，更多的是多特徵的 多變數的表示方法 多元線性迴歸中的損失
吳恩達機器學習練習1——單變數線性迴歸
機器學習練習1——單變數線性迴歸代價函式：梯度下降練習1資料集代價函式梯度下降法視覺化J 單變數線性迴歸 代價函式： 梯度下降 練習1 資料集 X代表poplation，y代表profits 資料集的視覺化 function plotData(x,
吳恩達機器學習筆記2-監督學習
word ins problems 一個 should regress ssi pri read 英文; Supervised Learning In supervised learning, we are given a data set and already kn
吳恩達機器學習筆記4-單變量線性回歸
alt 方法 bsp 目標 .com 函數 bubuko 機器學習 絕對值 今天看個5個課時的視頻，對假設函數、代價函數、以及梯度下降有了一個大概的了解。 假設函數： 代價函數： 我們的目標就是求得J的最小值 梯度下降：在一個上坡上找一個點，求得這個點周圍的絕對值最大的導數
吳恩達機器學習筆記2-代價函數(cost function)
cost 但是 時也 建模 學習筆記 alt 得到 回歸 技術 我們選擇的參數決定了我們得到的直線相對於我們的訓練集的準確程度，模型所預測的值與訓練集中實際值之間的差距（下圖中藍線所指）就是建模誤差（modeling error）。 我們的目標便是選擇出可以使得建模
吳恩達機器學習筆記2-代價函式(cost function)
我們選擇的引數決定了我們得到的直線相對於我們的訓練集的準確程度，模型所預測的值與訓練集中實際值之間的差距（下圖中藍線所指）就是建模誤差（modeling error）。 我們的目標便是選擇出可以使得建模誤差的平方和能夠最小的模型引數。 即使得代價函式 最小。 代價函式也被稱作平方
吳恩達機器學習筆記 —— 5 多變量線性回歸
擬合 進行 image 價格 常用 從表 cnblogs 優化 深度 本篇主要講的是多變量的線性回歸，從表達式的構建到矩陣的表示方法，再到損失函數和梯度下降求解方法，再到特征的縮放標準化，梯度下降的自動收斂和學習率調整，特征的常用構造方法、多維融合、高次項、平方根，最後基
吳恩達機器學習筆記8-多變量線性回歸(Linear Regression with Multiple Variables)--多維特征
學習筆記 機器 增加 都是 維度 能夠 因此 表示 轉置 我們探討了單變量/特征的回歸模型，現在我們對房價模型增加更多的特征，例如房間數樓層等，構成一個含有多個變量的模型，模型中的特征為(??1, ??1, . . . , ????)。 增添更多特征後，我們引入一
吳恩達機器學習（二）多元線性迴歸（假設、代價、梯度、特徵縮放、多項式）
目錄 0. 前言 學習完吳恩達老師機器學習課程的多變數線性迴歸，簡單的做個筆記。文中部分描述屬於個人消化後的理解，僅供參考。 0. 前言 多元線性迴歸（Multivari
吳恩達機器學習（第二章）----線性迴歸
線性迴歸要做的主要包含代價函式和梯度下降。 一、基本解釋 線性迴歸的過程其實就是我們在選擇好某個型別的函式之後去不斷的擬合現有的資料，那麼什麼情況下我們這個函式是最符合，最貼近我們這些資料的呢？就是在代價函式的值最小的時候。 二、代價函式 假設要擬合的函式是h(x)=
吳恩達機器學習第一次作業：線性迴歸
0.綜述 給出房價與房屋面積的關係，利用梯度下降的方法進行資料擬合，並對給定的房屋面積做出對房價的預測。 1.warmUpExercise 輸出5*5的單位矩陣 function A = warmUpExercise() %WARMUPEXE
吳恩達機器學習筆記一_單變量線性回歸
gre ima 梯度下降算法 line 公式 delta mat 所有 pan 單變量線性回歸 綱要 代價函數 梯度下降算法 全局最優與局部最優 代價函數 函數定義： \[ J(\theta_0,\theta_1,...)=\frac{1}{2m}\sum_{i=1}^
[吳恩達機器學習筆記]16推薦系統1-2基於內容的推薦系統
16.推薦系統 Recommender System 覺得有用的話,歡迎一起討論相互學習~Follow Me 16.1 問題形式化Problem Formulation 推薦系統的改善
【吳恩達機器學習筆記】week3：1/2邏輯迴歸
第三週 六、邏輯迴歸(Logistic Regression) 這裡首先區分一下線性迴歸和邏輯迴歸，線性迴歸就是擬合，邏輯迴歸是分類。 6.2 假說表式（Hypothesis Representation） 下面一個部分主要講的是假設函式h（x）在分類問題中輸出只能是0/
機器學習筆記--吳恩達機器學習課程2
梯度下降法 對於梯度下降法而言，當偏導數 的學習效率過大或過小時，收斂的速率會變得很緩慢，α過大時甚至會無法收斂。學習效率α是一個正數。 同樣梯度下降法初始點在區域性最低點時同樣不會再更新，此時偏導數的值為0.
[吳恩達機器學習筆記]14降維1-2降維的應用資料壓縮與資料視覺化
14.降維 覺得有用的話,歡迎一起討論相互學習~Follow Me 14.1動機一：資料壓縮 降維 也是一種無監督學習的方法，降維並不需要使用資料的標籤。 降維 的其中一個目的是 資料壓
吳恩達（Andrew Ng）《機器學習》課程筆記（1）第1周——機器學習簡介，單變數線性迴歸
吳恩達（Andrew Ng）在 Coursera 上開設的機器學習入門課《Machine Learning》： 目錄 一、引言 一、引言 1.1、機器學習（Machine Learni
吳恩達機器學習筆記11-梯度下降法實踐2-學習率
測試 根據 圖片 提前 size 技術分享 次數 梯度下降 mage 梯度下降算法收斂所需要的叠代次數根據模型的不同而不同，我們不能提前預知，我們可以繪制叠代次數和代價函數的圖表來觀測算法在何時趨於收斂。 也有一些自動測試是否收斂的方法，例如將代價函數的變化值與某
吳恩達機器學習筆記26-樣本和直觀理解2（Examples and Intuitions II）
分享圖片 筆記 inf 運算 構造 alt binary bin 選擇 二元邏輯運算符（BINARY LOGICAL OPERATORS）當輸入特征為布爾值（0 或1）時，我們可以用一個單一的激活層可以作為二元邏輯運算符，為了表示不同的運算符，我們只需要選擇不同的權重即可。