導數（derivative）

導數，是我們最早接觸的一元函式中定義的，可以在 xy 平面直角座標系中方便的觀察。當 Δx→0$\mathrm{\Delta }x\to 0$ 時，P0$P_0$ 處的導數就是該點的切線的斜率。

偏導數（partial derivative）

偏導數對應多元函式的情況，對於一個 n$n$ 元函式 y=f(x1,x2,…,xn)$y=f(x_1,x_2,\dots ,x_n)$，在 Rn${\mathbb{R}}^n$ 空間內的直角座標系中，函式沿著某一條座標軸方向的導數，就是偏導數。在某一點處，求 xi$x_i$軸方向的導數，就是將其他維的數值看做常數，去擷取一條曲線出來，這條曲線的導數可以用上面的導數定義求。求出來就是此點在這條軸方向上的偏導數。

方向導數 （directional derivative）

很多時候，僅僅有了座標軸方向上的偏導數是不夠的，我們還想知道任意方向上的導數。函式在任意方向上的導數就是方向導數。而空間中任意方向，是一定可以用座標軸線性組合來表示的，這就架起了偏導數和方向導數的橋樑:

令 ,

其中，α$\alpha$ 是由偏導數定義的向量A$A$ 與 我們自己找的單位方向向量 I$I$ 之間的夾角。

梯度 （gradient）

在上面的方向導數中，

• A$A$ 是固定的
• |I|=1$|I|=1$ 是固定的
• 唯一變化的就是 α$\alpha$

當 I$I$ 與 A$A$ 同向的時候，方向導數取得最大，此時我們定義一個向量 ，其方向就是 A$A$的方向，大小就是 A$A$的模長，我們稱這個向量就是此點的梯度。沿著梯度方向，就是函式增長最快的方向，那麼逆著梯度方向，自然就是函式下降最快的方向。由此，我們可以構建基於梯度的優化演算法。

Ref