吳恩達機器學習筆記（一）

標籤（空格分隔）：機器學習

吳恩達機器學習筆記一

一.機器學習簡介

1.機器學習的定義

對於一個程式，給它一個任務T和一個性能測量方法P，如果在經驗E的影響下，P對T的測量結果得到了改進，那麼就說該程式從E中學習

分類	內容	例子
監督學習	迴歸在已有資料中尋找規律，解決類似問題。	預測房價
無監督學習	聚類，獨立元件分析尋找混合資料之間的區別進行分類。	區分聲音
強化學習	回報函式，自我學習優化演算法。	機器人運動。

作業軟體：Matlab/Octave

2.監督學習

在監督式學習中，我們給了一個數據集，並且已經知道我們的正確輸出應該是什麼樣子，並且有輸入和輸出之間有關係的想法。

監督學習問題分為“迴歸(classification)”和“分類(regression)”問題。

在迴歸問題中，我們試圖預測連續輸出中的結果，這意味著我們試圖將輸入變數對映到某個連續函式。

在分類問題中，我們試圖預測離散輸出的結果。意味著我們將輸入變數對映到離散類別。

3.非監督學習

無監督的學習使我們能夠很少或根本不知道我們的結果應該是什麼樣子。
我們可以從資料中推匯出結構，我們不一定知道變數的影響。
我們可以通過基於資料中變數之間的關係對資料進行聚類來推匯出這種結構。
在無監督學習的基礎上，沒有基於預測結果的反饋。

例：

聚類：蒐集一百萬個不同的基因，並找到一種方法，將這些基因自動分組，這些基因組通過不同的變數（例如壽命，位置，角色等）相似或相關。
非聚類：“雞尾酒會演算法”，可以讓你在混亂的環境中找到結構。（即在雞尾酒會上從聲音網格中識別個別的聲音和音樂）。

迴歸與分類的區分
* 當我們試圖預測的目標變數是連續的，比如在我們的住房例子中，我們把學習問題稱為迴歸問題。
* 當y只能接受少量的離散值時（比如，如果考慮到居住面積，我們想要預測一個住宅是房子還是公寓），我們稱之為分類問題

代價函式cost function

J(θ0,θ1)=12m∑i=1m(yi~−yi)2=12m∑i=1m(hθ(xi)−yi)2 $J(\theta_0,\theta_1) =\frac{1} {2m}\sum_{i=1}^m(\tilde{y_i}-y_i)^2 =\frac{1} {2m}\sum_{i=1}^m(h_\theta(x_i)-y_i)^2$
這個函式被稱為“平方誤差函式”或“均方誤差”。
平方項求導有常數2，增加1_2係數，以方便計算梯度下降。

示例：
假設(hypothesis):

hθ(x)=θ0+θ1x $h_\theta(x) =\theta_0+\theta_1x$
引數(parameter):

θ0,θ1 $\theta_0,\theta_1$
代價函式(cost function):

J(θ0,θ1)=12m∑i=1m(yi~−yi)2=12m∑i=1m(hθ(xi)−yi)2 $J(\theta_0,\theta_1) =\frac{1} {2m}\sum_{i=1}^m(\tilde{y_i}-y_i)^2 =\frac{1} {2m}\sum_{i=1}^m(h_\theta(x_i)-y_i)^2$

對於多變數還可以寫做：

J(θ)=12m(Xθ−y⃗ )T(Xθ−y⃗ )(重要) $J(\theta)=\frac{1}{2m}(X\theta-\vec{y})^T(X\theta-\vec{y})\tag{重要}$

目標(goal):

minimizeJ(θ0,θ1) $minimize J(\theta_0,\theta_1)$

二：梯度下降和線性迴歸(gradient descent and (linear regression))

1.梯度下降

重複運算直至收斂：(alpha為學習速率(learning rate))

θj:=θj−αααθjJ(θ0,θ1) $\theta_j:=\theta_j-\alpha\frac{\alpha} {\alpha\theta_j}J(\theta_0,\theta_1)$
同時對兩個theta賦值：

temp0=θ0−αααθ0J(θ0,θ1) $temp_0=\theta_0-\alpha\frac{\alpha} {\alpha\theta_0}J(\theta_0,\theta_1)$

temp1=θ1−αααθ1J(θ0,θ1) $temp_1=\theta_1-\alpha\frac{\alpha} {\alpha\theta_1}J(\theta_0,\theta_1)$
然後將temp賦值給theta迴圈執行直至演算法收斂

向量(vector)：一個n*1的矩陣(matrix)
只有同維度的矩陣才能相加，對應的數字相加
實數與整數相乘除直接把矩陣的每一位乘除即可
矩陣相乘必須前一個的列數(columns)等於後一個的行數(row)
$\left[ \begin{array}{cc} a & b \\ c & d \\ e & f \end{array} \right] +\left[ \begin{array}{c} x \\ y \end{array} \right]=\left[ \begin{array}{ccc} a*x+b*y \\ c*x+d*y \\ e*x+f*y \end{array} \right]$

逆矩陣：m*m的矩陣與其逆矩陣相乘為單位矩陣 (identity matrix)

AA−1=I $AA^{-1}=I$
轉置4 877777777777777矩陣：

A=⎡⎣⎢acebdf⎤⎦⎥AT=[abcdef] $A=\left[ \begin{array}{cc} a & b \\ c & d \\ e & f \end{array} \right] A^T= \left[ \begin{array}{ccc} a & c & e \\ b & d & f \end{array} \right]$

輸入的變數：

n:特徵(feature)數量
m: 訓練集數量
$x^{(i)}=$ 第i個訓練集
$x^{(i)}_j=$ 第i個訓練集第j個特徵的引數
$h_\theta(x)=\left[ \begin{array}{ccc} \theta_0 & \theta_1&\cdots&\theta_n\\ \end{array} \right]\left[ \begin{array}{c} x_0 \\ x_1\\\cdots\\x_n \end{array} \right]=\theta$

2.多變數梯度下降：

重複執行直至收斂：｛

θj:=θj−α1m∑i=

吳恩達機器學習筆記（一），含作業及附加題答案連結

吳恩達機器學習筆記（一）

一.機器學習簡介

1.機器學習的定義

2.監督學習

3.非監督學習

代價函式cost function

二：梯度下降和線性迴歸(gradient descent and (linear regression))

1.梯度下降

2.多變數梯度下降：

吳恩達機器學習筆記（一），含作業及附加題答案連結

吳恩達機器學習筆記（六） —— 支持向量機SVM

吳恩達機器學習筆記（5）—— 神經網路

吳恩達機器學習筆記（十）-應用機器學習的建議

吳恩達機器學習課程（一）之梯度下降原理

吳恩達機器學習筆記（二）（附程式設計作業連結）

吳恩達機器學習筆記（week 8）----聚類

吳恩達機器學習筆記（十五）

吳恩達機器學習筆記（十二）-支援向量機

吳恩達機器學習筆記（十六）-推薦系統

吳恩達深度學習筆記（七） —— Batch Normalization

吳恩達深度學習筆記（八） —— ResNets殘差網絡

吳恩達深度學習筆記（3）-神經網路如何實現監督學習？

吳恩達深度學習筆記（4）-為什麼深度學習會興起？

吳恩達深度學習筆記（9）-導數的簡單推導介紹

吳恩達深度學習筆記（7）--邏輯迴歸的代價函式（Cost Function）

吳恩達深度學習筆記（8）-重點-梯度下降法（Gradient Descent）

吳恩達深度學習筆記（2）-什麼是神經網路（Neural Network）

吳恩達機器學習筆記59-向量化：低秩矩陣分解與均值歸一化（Vectorization: Low Rank Matrix Factorization & Mean Normalization）

吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（一）

吳恩達機器學習筆記（一），含作業及附加題答案連結

吳恩達機器學習筆記（一）

一.機器學習簡介

1.機器學習的定義

2.監督學習

3.非監督學習

代價函式cost function

二：梯度下降和線性迴歸(gradient descent and (linear regression))

1.梯度下降

2.多變數梯度下降：

相關推薦