1. 程式人生 > >L-BFGS算法(轉載)

L-BFGS算法(轉載)

ron 海森矩陣 思路 col 1-1 blog round ges 轉載

轉載鏈接:http://blog.csdn.net/itplus/article/details/21897715

技術分享

技術分享

技術分享

技術分享

技術分享

技術分享

前面的擬牛頓法、DFP、BFGS、L-BFGS算法簡短總結一下就是:

牛頓法不僅使用了梯度還使用了梯度下降的趨勢,所以能加速下降;DFP和BFGS為了彌補牛頓法的不足(海森矩陣必須可逆),它們使用叠代法分別近似海森矩陣的逆和它自身;L-BFGS是為了減小內存開支,用向量代替矩陣(其中用到近似)

註意:這裏的算法2.4暫時還不知道如何設計出來的,不過可以取一個較小的m值,一步一步體會一下作者的思路。

L-BFGS算法(轉載)