學習到機器學習線性迴歸和邏輯迴歸時遇到了梯度下降演算法，然後順著扯出了一堆高數的相關概念理論：導數、偏導數、全微分、方向導數、梯度，重新回顧它們之間的一些關係，從網上和教材中摘錄相關知識點。

這段是我的簡單總結，如果看不懂沒關係，先看下面的定義

1. 通過函式的極限定義出導數(以一元函式為例)
2. 函式f(x)在點x0可微的充分必要條件是函式f(x)在點x0處可導
3. 擴充套件到多元函式時，衍生出偏導數

全導數

請參考馬同學的這個回答：https://www.zhihu.com/question/26966355，他這篇文章還是較為適合有一定基礎的人看的，我推薦先將我所有的內容看完再去看這篇文章才能get到一些點。

從上面這個公式可以看出z是一個二元函式，如果不加下面的2個條件，那麼z是沒有全導數的。但是如果加了下面2個條件，則z就存在全導數，這時稱z關於t的導數就是全導數。可以看出他本質上就是一個一元函式，因此全導數只是針對真正的一元函式而言，也就是z中所有的變數x和y都可以用同一個t來表示。對於真正的多元函式是沒有全導數這一說的，只有偏導數、偏微分和全微分。

我將全導數放在分割線前是由於全導數對t求導數時，它實際上就是一個一元函式，那麼就應該被分到一元函式的區間內。

全導數和全微分是完全不同，全微分是針對多元函式的。

這裡往上是單變數（即一元函式）的導數和微分：

導數本質是一種極限，實際場景中表示切線斜率；

微分本質是“以值代曲，線性逼近”，讓本來對曲線進行運算的操作，轉化成對直線進行操作，簡化了難度。

單變數（即一元函式）的導數和微分的關係：

我認為這兩個的出發點是不一樣的，導數是為了求斜率，就是該點的瞬間變化情況；微分是為了將問題簡化，用直線代替曲線，線性逼近，畢竟對直線（或線段）的研究是相對容易的，而曲線就相對較難。

單變數導數 <=> 單變數微分（即單變數導數和單變數微分互為充分必要）。

---------------------------------------------------------這裡是一道華麗的分割線--------------------------------------------------------

這裡往下是多變數的導數和微分（涉及概念：偏導數，偏微分，全微分，方向導數，梯度）：

偏導數其實和導數一樣，僅僅是進行了一個擴充套件，從原來的一元函式擴充套件到多元函式，這時就有了偏導數的概念。偏導數和導數一樣都是表示切線的斜率。偏導數只是針對變元（這裡的變元是指多元函式中的某一元）的導數。這時就需要引出一個方向導數了，我們用一個例項還說明為什麼需要方向導數。比如一個二元函式，具體公式如下所示，

具體的形狀如圖所示：

其中A點可以有在xy平面內的（為啥是xy平面呢，我還沒有找到一個合理的解釋，讓我再想想）任意方向的導數。其中有一個方向的導數是變化是最快的，那麼這個方向就是梯度的方向，模長就是梯度大小。

偏微分和偏導數的出發點不同，偏導數是變化率，偏微分是某一變元的增量給z帶來的變化，只不過在某一變元的增量特別小時，可以借用導數的計算方法，但並不是導數。

全微分是針對所有變元的增量給z帶來的變化，是從偏微分拓展而來。

補充

梯度是向量，微分是一個數值。

設u=u(x,y,z)，首先三維中梯度的定義是gradu=iðu/ðx+jðu/ðy+kðu/ðz，它是一個向量，而全微分du=(ðu/ðx)dx+(ðu/ðy)dy+(ðu/ðz)dz，是用座標的微小增量dx、dy、dz表示函式u的增量，是一個表示式，和向量無關，也和切線無關。

下面來說明梯度為什麼和切向量（一維切向量就是切線，二維切向量就是切平面）垂直，設曲線x=x(t)，y=y(t)，z=z(t)是曲面u(x,y,z)=c上的一條曲線（c為常數，u(x,y,z)=c表示等值面），由於該曲線在曲面上，所以x=x(t)，y=y(t)，z=z(t)滿足方程u(x,y,z)=c，即u(x(t),y(t),z(t))=c，利用複合函式求導法則，方程兩邊同時對t求導數，得 (ðu/ðx)*x‘(t)+(ðu/ðy)*y‘(t)+(ðu/ðz)*z‘(t)=0，所以向量(x'(t),y'(t),z'(t))與向量(ðu/ðx,ðu/ðy,ðu/ðz)垂直。而向量(x'(t),y'(t),z'(t))表示曲線的切向量，向量(ðu/ðx,ðu/ðy,ðu/ðz)表示梯度，所以梯度和切向量垂直。函式u在一點的梯度是一個向量，它的方向是函式u在該點方向導數取得最大值時的方向，它的模等於方向導數的最大值。

全微分與偏導數、偏微分的關係

• 全微分存在偏導數、偏微分一定存在
• 偏導數、偏微分存在全微分不一定存在