在最優化學習系列中，第一次就說的是牛頓法，但是那是在一維搜尋上的，它其實就是將函式f在x處利用泰勒公式展開，得到它的近似函式，進而求解最小值。本節內容主要說明牛頓法在多維資料上的迭代公式。最優化學習筆記中講到的最速下降法是一種速度比較快的優化方法，但是最速下降法只用到了函式的一階導數，這種方法並不總是最高效的。而這裡說的牛頓法用到了二階導數，它的效率可能比最速下降法更優。
    當目標函式f:Rn→R上二階連續可微時，將函式f在x(k)處進行泰勒展開，並且不考慮三階及以上的項，那麼可得到函式f的二階近似項：

     需要說明的是，在上述過程中，需要求解一個n維的線性齊次方程組，這對效率很有影響，應該設計一個更為高效的方法。如果黑塞矩陣是非正定的，那麼牛頓法也將存在問題，後邊也將會針對問題提出相應的修正方法。