2. 程式人生 > >機器學習最優化方法[2] --牛頓法

機器學習最優化方法[2] --牛頓法

阿新 • • 發佈：2018-12-30

文章目錄

1、牛頓法

牛頓法也是一種迭代的求解方法，相比於梯度下降法，牛頓法在搜尋方向上不僅考慮一階梯度方向，同時考慮二階梯度，因此用牛頓法求解收斂更快。
假設有函式 f ( x )

, x ∈ R f(x), x\in\R , x k
x_k 為當前的極小值估計，在 x k x_k 處做二階泰勒展開：
f (
x ) = f ( x k ) + f ′ ( x k ) ( x − x k ) + 1 2 f ′ ′ ( x k ) ( x − x k ) 2 f(x)=f(x_k)+f^\prime(x_k)(x-x_k)+\frac{1}{2}f^{\prime\prime}(x_k)(x-x_k)^2
兩邊同時對 x x 求導：
f ′ ( x ) = f ′ ( x k ) + f ′ ′ ( x k ) ( x − x k ) f^\prime(x)=f^\prime(x_k)+f^{\prime\prime}(x_k)(x-x_k)
x x 取極值點的時候， f ′ ( x ) = 0 f^\prime(x)=0 , 因此：
f ′ ( x k ) + f ′ ′ ( x k ) ( x − x k ) = 0 f^\prime(x_k)+f^{\prime\prime}(x_k)(x-x_k)=0 可以推導得到：
x = x k − f ′ ( x k ) f ′ ′ ( x k ) x=x_k-\frac{f^\prime(x_k)}{f^{\prime\prime}(x_k)}\qquad\qquad
因此給定初始點 x 0 x_0 , 可以構造如下迭代式：
x k + 1 = x k − f ′ ( x k ) f ′ ′ ( x k ) , k = 0 , 1 , 2 , . . . x_{k+1}=x_k-\frac{f^\prime(x_k)}{f^{\prime\prime}(x_k)}, k=0,1,2,...
如果推廣到多維，假設 x ∈ R N \bf x\in\R^N , 則在 x k \bf x_k 處的二階泰勒展開式：
f ( x ) = f ( x k ) + ∇ f ( x k ) ( x − x k ) + 1 2 ( x − x k ) T ∇ 2 f ( x k ) ( x − x k ) f({\bf x})=f({\bf x_k})+\nabla f({\bf x_k})({\bf x-x_k})+\frac{1}{2}({\bf x-x_k})^{\bf T}\nabla^2 f({\bf x_k})({\bf x-x_k})
其中 ∇ f \nabla f 為 f ( x ) f({\bf x}) 的梯度向量， ∇ 2 f \nabla^2 f 為 f ( x ) f({\bf x}) 的海森矩陣(Hessian Matrix),
∇ f = [ ∂ f ∂ x 1 ∂ f ∂ x 2 ⋮ ∂ f ∂ x N ] , ∇ 2 f = [ ∂ 2 f ∂ x 1 2

相關推薦

機器學習最優化方法[2] --牛頓法

文章目錄 1、牛頓法 2、擬牛頓法 DFP演算法 BFGS演算法 L-BFGS 參考資料 1、牛頓法 牛頓法也是一種迭代的求解方法，相比於梯度下降法，牛頓法在搜尋方向上不僅考慮一階梯度方向，同時考

機器學習最優化方法[1] -- 梯度下降法

梯度下降法是求解無約束最優化問題最常見的方法，其基本思想是通過在負梯度方向通過一定的步長慢慢逼近最優解的過程。  假設需要擬合函式：, ,  給定資料集 , 我們需要最小化損失函式來求得引數  求導： 可以令導數等於0求得&nb

（筆記）斯坦福機器學習第四講--牛頓法

ron 並不會 initial ant 結果 c函數 情況 對數 width 本講內容 1. Newton‘s method（牛頓法） 2. Exponential Family（指數簇） 3. Generalized Linear Models(GLMs)（廣義線性模型）

機器學習最優化方法[3]--約束優化

文章目錄 1、等式約束 2、不等式約束 考慮一個優化問題： min ⁡

機器學習——優化演算法：牛頓法-初探

前言1、看了關於牛頓法相關的文章，下面是總結記錄。2、感受的話：數學公式最為重要的是數學符號語言的理解，如果第一次看不懂很正常，保持住心態最為重要，然後將每個符號帶入公式和公式描述語言裡就能理解，還有一篇看不懂就看第二篇，第三篇....(ps:我是捏著鼻子看完又臭又長的公式)

Python機器學習：7.2 結合不同的分類算法進行投票

機器學習 div blog 我們 mac .com nts sep section 這一節學習使用sklearn進行投票分類，看一個具體的例子，數據集采用Iris數據集，只使用sepal width和petal length兩個維度特征，類別我們也只是用兩類：Iris-Ve

機器學習 Python基礎2 Pandas DataFrame 常用方法實踐

Pandas DataFrame 常用方法實踐 常見的物件型別 【pandas.core.series.Series】 【pandas.core.frame.DataFrame】 常用方法實踐 1） 重新索引

【原始碼】機器學習中的投影牛頓型方法

機器學習中的投影牛頓型方法 我們考慮用於解決機器學習及相關領域中出現的大規模優化問題的投影牛頓型方法。 We consider projected Newton-type methodsfor solving large-scale optimization

最優化方法：牛頓迭代法和擬牛頓迭代法

基礎拐點若曲線圖形在一點由凸轉凹，或由凹轉凸，則稱此點為拐點。直觀地說，拐點是使切線穿越曲線的點。拐點的必要條件：設f(x){\displaystyle f(x)}在(a,b){\displaystyle (a,b)}內二階可導，x0∈ (a,b){\displaystyle

機器學習系列（2）：logistic迴歸，貝葉斯（bayes）方法

前言：這章主要介紹logistic迴歸和bayes法。兩者都屬分類，前者引入了logistic函式，後者引入了貝葉斯定理，都是比較基礎的數學知識。             但是logistic無需先驗的訓練樣本，後者需要。              貝葉斯法很強大，很多郵件

吳恩達機器學習筆記11-梯度下降法實踐2-學習率

測試 根據 圖片 提前 size 技術分享 次數 梯度下降 mage 　　梯度下降算法收斂所需要的叠代次數根據模型的不同而不同，我們不能提前預知，我們可以繪制叠代次數和代價函數的圖表來觀測算法在何時趨於收斂。 也有一些自動測試是否收斂的方法，例如將代價函數的變化值與某

【機器學習】EM的算法

log mea www 優化 問題 get href ive 路線 EM的算法流程： 初始化分布參數θ； 重復以下步驟直到收斂： E步驟：根據參數初始值或上一次叠代的模型參數來計算出隱性變量的後驗概率，其實就是隱性變量的期望。作為隱藏變量的

Spark機器學習(5)：SVM算法

線性 logs pro 二維 log libs jar 解析 cti 1. SVM基本知識 SVM(Support Vector Machine)是一個類分類器，能夠將不同類的樣本在樣本空間中進行分隔，分隔使用的面叫做分隔超平面。 比如對於二維樣本，分布在二維平面上，此

機器學習入門之四：機器學習的方法-神經網絡（轉載）

轉載 bsp 圖像 src nbsp 加速 數值 str 我們 　　轉自 飛鳥各投林 　　神經網絡 　　 　　神經網絡(也稱之為人工神經網絡，ANN)算法是80年代機器學習界非常流行的算法，不過在90年代中途衰落。現在，攜著“深度學習”之勢，神

Andrew Ng機器學習筆記+Weka相關算法實現（四）SVM和原始對偶問題

優化問題 坐標 出了 變量 addclass fun ber 找到 線性 這篇博客主要解說了Ng的課第六、七個視頻，涉及到的內容包含，函數間隔和幾何間隔、最優間隔分類器 （ Optimal Margin Classifier）、原始/對偶問題 （ Pr

[機器學習]感知機(Perceptron)算法的MATLAB實現

支持 ima 算法 not bsp iteration ptr 判斷 分類 感知機是一種二類分類的線性分類模型，屬於判別類型，它是神經網絡和支持向量機的基礎。 感知機的算法如圖所示： 根據以上的算法，使用MATLAB對一組標簽為“1”和“-1”的數據進行訓練，得到的分類超

機器學習十大常用算法

不同 youtube 多少 ear 邏輯回歸 total 組成 ddc 表達 機器學習十大常用算法小結 機器學習十大常用算法小結 通過本篇文章可以對ML的常用算法有個常識性的認識，沒有代碼，沒有復雜的理論推導，就是圖解一下，知道這些算法是什麽，它們是怎麽應用的，例子

機器學習實戰精讀--------Apriori算法

apriori關聯分析（關聯規則學習）：從大規模數據集中尋找物品間的隱含關系，Apriori算法：一種挖掘關聯規則的頻繁項算法，其核心是通過候選集生成和情節的向下封閉檢測ll階段來挖掘頻繁項集，它是最具影響的挖掘布爾關聯規則頻繁集的算法Aprior算法缺點：① 可能產生大量候選集；② 可能需要重復掃描數據庫。

機器學習探索-推薦引擎算法(實驗二)

-- mon file img ext lin 文件 執行 主函數 上篇文章介紹了推薦引擎算法在spark-shell中的操作，實際環境中我們不會僅僅運行一次， 更多的是一次編譯多次運行，今天我們開始實驗二，不過上次實驗的筆錄很有用哦。 ------------------

機器學習評價方法

論文 成了 har learning logs core 思想 img perf 剛開始看這方面論文的時候對於各種評價方法特別困惑，還總是記混，不完全統計下，備忘。 關於召回率和精確率，假設二分類問題，正樣本為x，負樣本為o： 準確率存在的問題是當正負樣本數量不均衡的時候