一、符號解釋

M 訓練樣本的數量

x 輸入變數，又稱特徵

y 輸出變數，又稱目標

(x, y) 訓練樣本，對應監督學習的輸入和輸出

表示第i組的x  

表示第i組的y

h(x)表示對應演算法的函式

是演算法中的重要引數（向量）

表示引數為的函式，以下考慮線性迴歸，所以表述為：

二、梯度下降演算法

用表示函式計算輸出的結果，用y表示期望的輸出值

則-y表示誤差，若我們有m組訓練樣本，在訓練過程中，我們希望誤差越小越好，所以來調整引數

使得

其中二分之一是使得運算更加簡便，採用誤差的平方來計算，對於所有的樣本，誤差之和最小的引數就是我們要得到的結果。

我們稱上述式子為，我們要不斷修改引數，使的值儘可能小

初始時候，我們設定

接下來不斷改變：

更新，其中手動設定的學習速率引數。

通過對J函式求偏導數，我們求得J的梯度，即J下降最快的方向，通過這個方向更新引數，使得J的函式值越來越小。

計算當m=1時，只有1組訓練樣本時：

當有m組樣本時，把每一組的效果累加起來：

則有其中後一部分便是的結果。

由於每次更新引數，都遍歷了一次所有的樣本資料，這樣做屬於完全梯度下降，具有更高的準確性，卻在遍歷m集合上花費了大量的時間，當訓練集合很大是，這種方法是很浪費時間的，所以引出隨機梯度下降。

三、隨機梯度下降演算法：

Repeat：

對於j從1到m：

對於每一次更新引數，不必遍歷所有的訓練集合，僅僅使用了一個數據，來變換一個引數。這樣做不如完全梯度下降的精確度高，可能會走很多彎路，但整體趨勢是走向minmum。

這樣做可以節省更多的時間，演算法更快。

四、正規方程：

引入概念：

對矩陣求導：

則引數的調整可表述為：

若f是一個從m*n矩陣對映到實數的函式，則：

trAB = trBA (求跡運算)

trABC = trCAB = trBCA

令所以

則對於直接誤差求內積：

則有

時，誤差最小，此時可有正規方程表示：