在無約束優化中，設$f(x)$是凸函式。可以通過$\partial f(x)=0$求解，如果不能直接得到解析解，可以通過構造一個序列，$x_0,x_1,...,x_k$，使得$f(x_0)>f(x_1)>...>f(x_k)$，給定一個閾值$\eta$，當$\bigtriangledown f(x)<\eta$

$x:=x+t \Delta x$ ($f$是凸函式，滿足$f(y) \ge f(x)+\bigtriangledown f(x)^T \Delta x$)

於是就有了

一般下降方法General Descent Method： 給定一個初始值x， 重複以下步驟：

1. 確定下降方向$\Delta x$
2. 確定步長$t$（1.Exact line search, 2.Backtracking line search）
3. 更新$x$，$x=x+t \Delta x$
   直到滿足停止條件

梯度下降法，就是$\Delta x=- \bigtriangledown f(x)$，停止準則是$||\bigtriangledown f(x)||_2 \le \eta$

下面介紹最陡下降法Steepest descent method $f(x)$的一階展開式為$f(x+v) \approx f(x)+\bigtriangledown f(x)^T v$，選擇一個方向$v$使$f(x+v)$

牛頓方法就是二次範數中$P=\bigtriangledown^2f(x)$，Hessian矩陣。當然也可以用泰勒二階展開式近似，然後求倒求展開式的最小值，也可得到相同的結果。停止準則為$||\bigtriangledown f(x)||_{\bigtriangledown^2f(x)}\le \eta$