一篇經典部落格：

http://blog.csdn.net/walilk/article/details/50978864

1.導數定義：導數代表了在自變數變化趨於無窮小的時候，函式值的變化與自變數的變化的比值。幾何意義是這個點的切線。物理意義是該時刻的（瞬時）變化率。

注意：在一元函式中，只有一個自變數變動，也就是說只存在一個方向的變化率，這也就是為什麼一元函式沒有偏導數的原因。

（derivative）

2.偏導數：既然談到偏導數，那就至少涉及到兩個自變數。以兩個自變數為例，z=f（x,y），從導數到偏導數，也就是從曲線來到了曲面。曲線上的一點，其切線只有一條。但是曲面上的一點，切線有無數條。而偏導數就是指多元函式沿著座標軸的變化率。

（partial derivative）

直觀地說，偏導數也就是函式在某一點上沿座標軸正方向的的變化率。

3.方向導數

5.梯度下降