1.線上性迴歸問題中，我們通常使用下面公式來擬合訓練集：

其中,為特徵向量的個數；

2.如圖假設x是二維的，則有

3.我們可以將損失函式表示為：

4.  我們將目標函式轉成求損失函的最小值，該問題已經轉換成了最小二乘問題，因此我們可以使用梯度下降法對求最小值。

      1） 首先,為了簡化問題，我們假設只有一組樣本,即m=1，對求偏導有：

2).其梯度下降的迭代公式可表示為：

其中，a表示學習率，這裡做一個不嚴謹的類比，假設你在爬山，這會兒正在下山的圖中，那麼你朝著哪個方向下降速度會最快呢？答案顯然是，梯度方向（本例為），a就是你要邁的步子長度。注意：通常a是手動設定的，若a值設的太小，會導致步子邁的太小，你將花較長的時間下山，也就是函式要花很長的時間才能收斂；若a值設的過大，你的演算法可能會邁過最小值，因為你的步子太大了。

5. 我們將3中所求的梯度下降演算法推廣到n維，則其可以寫成：

6.注意：當你使用梯度下降的時候，當你接近區域性最小值的時候，步子會越來越小，最終直到收斂，原因是你在更新的時候，

你會減去乘以梯度，當你達到區域性最小值的時候，梯度也減為0，當你接近區域性最小值的時候，在區域性最小值處梯度是0，

也就是當你梯度下降的每一步都會自動的變得越來越小。

以上所講述的演算法稱為批梯度下降演算法

7.該演算法的缺陷：每次計算都需要遍歷整個訓練集合 ，因為你需要對你的m個訓練樣本進行求和，當我們遇到非常大的 訓練集

合的時候，這種演算法就顯得的不合適了。所以當你有一個很大的訓練集合的時候，那麼你應該使用另外一個稱之為隨機梯度下降的演算法，

亦稱為增量梯度演算法，可表示為：

隨機梯度下降演算法的優點：你不需要在遍歷所有的樣本，提升了收斂速度。所以對大規模的訓練集合，建議使用隨機梯度下降演算法。

隨機梯度下降演算法的缺點：隨機梯度下降演算法，不會精確的收斂到全域性的最小值，但是會逼近最小值，通常達到這個精度就可以了。

8. 現在我們回到我們的問題，我們要計算的問題已經轉化成了損失函式最小化，因此下面我們將開始證明線性迴歸問題：

8.1  回顧下幾個概念：

所以，可以將梯度下降表示為：

若f表示矩陣到實數的對映，則有：

8.2矩陣跡的性質:

1)     設A是n*n方陣，則A的跡為對角陣之和：

1.1  定義 代表所有的訓練集合中資料的目標值