一.梯度下降法：

我們假設迴歸函式為：

        ，這裡x0 = 1.

定義迴歸函式和實際值之間差的均方和為損失函式：

      ，m為樣本數量

我們的目的是求出使損失函式最小的引數的值。求最小值，對於每個引數，求出梯度並使梯度等於0，此時的即為對於引數來說，損失函式最小。

是包含所有引數的一維向量，我們先初始化一個，在這個值之上，用梯度下降法去求出下一組的值，由於是梯度下降的，所以損失函式的值在下降。當迭代到一定程度，的值趨於穩定，此時的即為要求得的值。

迭代函式如下：

     每次迭代，我們用當前的求出求出等式右邊的值，並覆蓋得到迭代後的值。

這裡

二. 隨機梯度下降法(stochastic gradient descent)和批梯度下降法(batch gradient descent)

       隨機梯度下降法和批梯度下降法是對於多樣本迭代的兩種策略，其中，隨機梯度下降法是在每一次迭代中，隨機的選擇m個樣本來求取的值，而批梯度下降法在每次迭代中，需要先求出所有樣本的梯度值。相比之下，隨機梯度下降法高效。

A. 隨機梯度下降法：

     Repeat{

            for i = 1 to m{

                     對於每一個j進行操作

            }

     }

    這裡的m為隨機選擇的m個樣本。

B. 批梯度下降法：

      Repeat 直到收斂{

               對於每一個j進行操作

      }

      這裡的m為整個樣本數。需要先求出在本次迭代中整個樣本關於j的導數和，再計算出，對於大樣本，很耗時。

三.最小二乘法

A. 需要用到的公式

      首先我們定義為一個m*n矩陣，它在(i,j)上的元素值為。定義n*n的方矩陣A的跡trA為

      我們可以證明trABCD = trDABC = trCDAB = trBCDA

      同時，下面兩個公式也可以證明：

B. 最小二乘法求線性迴歸

       對於m個樣本，每個樣本的n個特徵值可以表示為一維列向量Xi，則m個樣本，可以組成樣本矩陣m*(n+1)，其中的1為常量引數：

        這裡每一行為一個樣本的特徵向量；

        我們設Y向量為樣本特徵值對應的目標值，則：

        由於，我們可以得到：

        到這裡，我們需要求X-Y的平方和，假設各個特徵之間是相互獨立的，則(X-Y)轉置*(X-Y)可以得到除了對角線之外都為0的矩陣，而對角線上的值，為X-Y的平方值。於是有：

         對矩陣求導的：

      令求導函式等於0，此時

     於是：