梯度下降法是機器學習中常用的引數優化演算法，使用起來也是十分方便！很多人都知道梯度方向便是函式值變化最快的方向，但是有認真的思考過梯度方向是什麼方向，梯度方向為什麼是函式值變化最快的方向這些問題嘛，本文便以解釋為什麼梯度方向是函式值變化最快方向為引子引出對梯度下降演算法的研究，後面也將通過線性迴歸詳細介紹梯度下降演算法以及演算法調優方式及其變種

一、證明梯度方向是函式變化率最快方向

1、由導數看梯度

在很多梯度下降法教程中，都有提到梯度這個概念。從微積分角度，對多元函式的引數求偏導，將各引數偏導數以向量的形式展示出來便是梯度向量。如二元函式f(x,y)的梯度向量便是：
${(\frac{\mathrm{\partial }f}{\mathrm{\partial }x},\frac{\mathrm{\partial }f}{}}^{}$

∂y)T {(\frac{\partial f}{\partial x},\ \frac{\partial f}{\partial y})}^{T}

記作gradf(x,y) 或 ∇f(x,y)，同理如果是三元函式，則梯度向量便是：

${(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z})}^{T}$

梯度方向是函式變化最快的方向，沿著梯度向量方向更易找到函的最大值；反之沿著梯度向量相反的方向，梯度減少最快，更易找到函式的最小值。相信有挺多人都會有疑問，為什麼梯度方向是函式變化最快的方向，下面我們便從函式導數的角度講解為什麼？知其然知其所以然，探尋梯度本質。

(1) 先從單變數導數看起：

對於單變數函式f(x)，在x0處導數定義為：

$f^{'}\left( x_{0} \right) = \ \operatorname{}{\frac{y}{x} = \ \lim_{x - > 0}\frac{f\left( x_{0} + x \right) - f(x_{0})}{x}}$

公式含義如下圖所示：

從幾何意義上說，導數代表了函式在該點出切線斜率，表示此點處的變化率，因此單變數函式只有一個變數x在變動，所以便只有這一個方向上的變化率。因此對於多元函式來說便存在偏導數、方向導數，表示多個方向上的變化率。

(2) 偏導數到方向導數

我們以二元函式f(x,y)偏導數為例，偏導數指的是二元函式沿座標軸的變化率：

f_x(x,y) 指y方向固定不變時，函式值沿x軸的變化率；

f_y(x,y) 指x方向固定不變時，函式值沿y軸的變化率

顯然偏導數只是給出了函式值沿著座標軸的變化率，這自然是完全不夠的，如下圖：

將上圖二元函式看成一個山峰，當一個人處於黑色十字位置處想要儘快下山時，我們需有沿著任意方向的變化率才能夠判斷沿著哪個方向走才能夠最快的下山。

當前我們已經有了沿著座標軸x軸和y軸方向的變化率，接下來我們將推出該平面沿著任意方向的變化率，然後找出下降最快的變化率方向（可類比於已知平面的兩個基向量然後表示平面內任意向量），看下圖：

為了解決人如何沿著山峰變化率最快的方向走到山谷，我們先抽象問題作出幾個假設：

<1> 假設山峰表面是一個二維曲面z = f(x,y)

<2> 人在山峰表面的初始點假設是M₀點(x,y)

<3> 假設M₀點處下山變化率最快的方向為L向量方向

<4> M₁點(x + x,y +y)是L向量方向上離M₀點很近的點

<5>角度φ是L向量與x軸的夾角，ρ表示M₀點和M₁ 點之間距離： $\sqrt{{(x)}^{2}+ {(y)}^{2}}$

則函式沿任意方向L向量方向的方向導數定義為：

$\frac{\partial f}{\partial l} = \ \operatorname{}\frac{f\left( x + x,y + y \right) - \ f(x,y)}{\rho}$

二維平面z = f(x,y)在M₀點是可微分的，根據函式的增量有下式：

$f\left( x + x,y + y \right) - \ f\left( x,y \right) = \ \frac{\partial f}{\partial x}x + \ \frac{\partial f}{\partial y}y + o(\rho)$

上式兩邊除以ρ可得：

$\frac{f\left( x + x,y + y \right) - \ f\left( x,y \right)}{\rho} = \ \frac{\partial f}{\partial x}\frac{x}{\rho} + \ \frac{\partial f}{\partial y}\frac{y}{\rho} + \frac{o(\rho)}{\rho}$

其中可知：

$\frac{x}{\rho} = \ \frac{x}{\sqrt{{(x)}^{2} + {(y)}^{2}}} = cos\varphi$

$\frac{y}{\rho} = \ \frac{y}{\sqrt{{(x)}^{2} + {(y)}^{2}}} = sin\varphi$

因此有：

$\frac{\partial f}{\partial l} = \ \operatorname{}\frac{f\left( x + x,y + y \right) - \ f(x,y)}{\rho} = \ \lim_{\rho - &gt; 0}(\frac{\partial f}{\partial x}\ cos\varphi + \frac{\partial f}{\partial y}\ sin\varphi + \frac{o\left( \rho \right)}{\rho})$

這裡我們便推出了一個重要表示式，二維山峰平面上任意導數變化率方向可表示成：

$\frac{\partial f}{\partial l} = \ \frac{\partial f}{\partial x}\ cos\varphi + \frac{\partial f}{\partial y}\text{\ sinφ}$

別忘了我們最初的問題，我們最終的目的是要求的是變化率最快的方向，在得出任意變化率方向的表示式後，我們繼續向下看：這裡令：

$A = \left( \frac{\partial f}{\partial x},\ \frac{\partial f}{\partial y} \right)^{T} = \ {(f_{x}\left( x,y \right),\ f_{y}(x,y))}^{T}$

$l = (cos\varphi,\ sin\varphi)$

則有任意梯度方向：

$\frac{\partial f}{\partial l} = AL = \left| A \right|*\left| l \right|*cos\beta\ \ \ \ \text{β\ }Al$

於是我們也可得出要想讓∂ f/∂L最大，則β，即任意變化率向量方向L和A同方向

啊啊啊，請注意啦，這裡A的方向是什麼，大家仔細看：$A = \left( \frac{\partial f}{\partial x},\ \frac{\partial f}{\partial y} \right)^{T}$

這不正是我們上面說的二元函式的梯度方向嘛。因此我們便二元函式的偏導陣列成的向量：
$\left( \frac{\partial f}{\partial x},\ \frac{\partial f}{\partial y} \right)^{T}$

即定義為函式的梯度方向，也就是函式變化率最快的方向。

二、線性迴歸理解梯度下降法

首先我們應該明白，梯度下降法是無約束優化演算法。當對某個函式求最值時便並且該函式可微時便可以使用梯度下降演算法進行求解最值。下面我們先從形象上認識一下梯度下降演算法：

假設我們站在山峰的某個位置，現在要一步一步下山，為了最快的到達山谷，我們走每一步時先計算時當前位置的負梯度方向，沿著負梯度方向向下走，這樣我們便可以儘快的到達山谷，這邊是梯度下降演算法的思想。當然從上圖中我們可以看出，梯度下降演算法不一定會找到全域性最優解，可能是區域性最優解。下面我們用線性迴歸問題實際應用一下梯度下降演算法

這裡先介紹幾個梯度下降法的概念，方便後續內容理解：

(1) 學習率：表示為 α，控制步長大小，即引數到達最優值的快慢

(2) 步長：即是梯度下降演算法每一步沿負梯度方向前進的距離，表示為：$\alpha\frac{\partial J(\theta)}{\partial\theta}$

(3) 特徵: 表示為x_i(i = 0,1,2,…,n)，即樣本的維度

(4) 假設函式: 表示為h~θ( x )，即模型的預測輸出值

(5) 損失函式: 表示為J( θ ) 即定義預測輸出值和真實輸出值之間的差距，本文下面例子中便利用了最小二乘法定義損失函式

這裡理解一個數據的例子來理解線性迴歸，房屋銷售的資料，資料描述的是房屋的特徵和房屋銷售價格的關係。其中房屋特徵包括：面積、房間數量、地段、朝向等，對應的該房屋的銷售價格。對於這批資料我們做出以下假設：

m： 表示資料的銷售數量

x： 資料的特徵，假設共有n個特徵，x_i(i = 0,1,2,…,n) 表示資料的n個特徵

y：輸出變數，也就是房屋的價格 (x^j,y^j)：表示第j個訓練樣本，(j = 1,2,…,m) 共有m個數據

(x_i^j, y_i^j)：表示第j個數據的第i個特徵，i =0,1,2,…,n資料共n個特徵

針對上述資料，我們希望建立一個模型來描述房屋特徵和房屋售價之間的關係，並通過梯度下降法求出最優的模型。

梯度下降演算法有代數法和矩陣法兩種描述形式，下面將分別從代數法和矩陣法給出上述問題的解決方案

1、 梯度下降法代數法推導過程

我們假設房屋的銷售價格和房屋特徵是線性關係，於是我們定義假設函式為，其中θ_i(i= 0,1,2,…,n) 為模型引數，x_i(i =0,1,2,…,n) 表示每個樣本的n個特徵：

$h_{\theta}\left( x \right) = \theta_{0} + \theta_{1}x_{1} + \theta_{2}x_{2} + \ldots + \theta_{n}x_{n}\ \ = \ \sum_{i = 1}^{n}{\theta_{i}x_{i}\text{\ \ \ \ }}\ (x_{0} = 1)$

相關推薦