學習到機器學習線性迴歸和邏輯迴歸時遇到了梯度下降演算法，然後順著扯出了一堆高數的相關概念理論：導數、偏導數、全微分、方向導數、梯度，重新回顧它們之間的一些關係，從網上和教材中摘錄相關知識點。

1. 通過函式的極限定義出導數(以一元函式為例)
2. 函式f(x)在點x0可微的充分必要條件是函式f(x)在點x0處可導
3. 擴充套件到多元函式時，衍生出偏導數

導數

定義：設函式y=f(x)$y=f(x)$在點x0$x_0$的某個領域內有定義，如果ΔyΔx$\frac{\Delta y}{\Delta x}$在當Δx$\Delta x$->0時極限存在，則稱函式y=f(x)$y=f(x)$在x0$x_0$處可導，這個極限是函式y=f(x)$y=f(x)$在x0$x_0$處的導數

根據導數的定義，從某種意義上說導數的本質是一種極限

導數與導函式的關係是區域性與整體的關係，導數通常是指一點，導函式則是指一個區間上的

• 在直線運動場景中，若x表示時刻，y表示距離，函式f表示時間與距離的關係y=f(x)$y=f(x)$,那麼導數的含義就是在x0$x_0$時刻的瞬時速度
• 在直角座標系中，y=f(x)$y=f(x)$表示一個曲線，導數的含義表示的是曲線在點x0$x_0$處的切線的斜率

微分

定義：設函式y=f(x)$y=f(x)$在某個領域內有定義，x0$x_0$及x0+Δx

高階無窮小的定義：如果limαβ=0$lim\frac{\alpha }{\beta }=0$，就說β$\beta$是比α$\alpha$高階的無窮小，記作β=o(α)$\beta =o(\alpha )$

微分與導數的關係

上式Δy=AΔx+o(Δx)