在機器學習中，我們的目標是最小化損失函式: $J(\mathbf {\theta})$。為了快速得到最佳的引數 $\theta$

$\mathbf{v} = argmax_{\mathbf{v}}(J(\theta) - J(\mathbf{\theta + v}))$

對 $J(\mathbf{\theta + v})$進行一階泰勒展開：

$J(\mathbf{\theta + v})\approx J(\theta) +\mathbf{v}^T\triangledown_{\theta}J(\theta)$
$J(\theta) -J(\mathbf{\theta + v})\approx-\mathbf{v}^T\triangledown_{\theta}J(\theta)$

則目標變為：

$\mathbf{v} = argmax_{\mathbf{v}}(-\mathbf{v}^T\triangledown_{\theta}J(\theta))$

因為 $\mathbf{v}^T\triangledown_{\theta}J(\theta)$ 可以理解為兩個向量的點積（向量 $\mathbf{v}$ 和向量 $\triangledown_{\theta}J(\theta)$），可寫成 $|\mathbf{v}||\triangledown_{\theta}J(\theta)|\cos\alpha$ ,其中 $\alpha$為兩個向量的夾角。為了使上述“負點積”最大，則兩個向量應該方向相反（180度），即 $\mathbf{v}$ 和 $\triangledown_{\theta}J(\theta)$ 方向相反，其中 $\triangledown_{\theta}J(\theta)$即為目標函式的梯度。因此，應該沿著負梯度的方向更新引數才會使損失函式下降得最快。