一元線性迴歸：

  對於樣本[(x1,y1),(x2,y2),……(xn,yn)]，xi為特徵，yi為標籤。(字幕i代表下標)

  假定y與x有：   

                    y = f(xi) = w*xi + b

   確定引數w和b的值的關鍵在於如何衡量f(x)與y之間的差距，即

    ** 基於均方誤差最小化來進行模型求解的方法成為“最小二乘法”。

    求解上式的過程被稱為線性迴歸模型的最小二乘“引數估計”。

    過程如下：

 具體推導過程……懶得推……

多元線性迴歸的推導

    多元線性迴歸的推導與一元線性迴歸有所不同，可以使用代數表示和矩陣表示兩種方法來推導。

   我們簡述一下矩陣推導過程：

   對於多元變數x，有假設函式：

             f(xi) = w的轉置 * xi + b （w、xi、b均為向量）

  則有如下推導表示：

梯度下降法在之前的一片記錄過，之後還會對BGD和SGD進行一次記錄。