1. 程式人生 > >最優化演算法:BFGS演算法全稱和L-BFGS演算法全稱

最優化演算法:BFGS演算法全稱和L-BFGS演算法全稱

在最優化演算法研究中按時間先後順序出現了許多演算法包括如下幾種,這裡介紹下他們的全稱和英文名稱:

1、最速下降法(Gradient descent)

2、牛頓法(Newton method)

3、 共軛梯度法(Conjugate Gradient)

4、擬牛頓法(Quasi-Newton),其有很多變種:

(1)DFP(Davidon、Fletcher、Powell三人的首字母)

(2)BFGS(布羅依丹(Broy-den,C. G.)以及弗萊徹(Fletcher , R. ) ,戈德福布(Goldforb,D. )、香諾(Shanno, D. F.)四個人名首字母)

(3)L-BFGS(large BFGS)

參考:

【1】https://baike.baidu.com/item/BFGS%E7%AE%97%E6%B3%95/19134399?fr=aladdin

【2】http://blog.sina.com.cn/s/blog_eb3aea990101gflj.html

相關推薦

最優化演算法BFGS演算法全稱L-BFGS演算法全稱

在最優化演算法研究中按時間先後順序出現了許多演算法包括如下幾種,這裡介紹下他們的全稱和英文名稱: 1、最速下降法(Gradient descent) 2、牛頓法(Newton method) 3、 共軛梯度法(Conjugate Gradient) 4、擬牛頓法(Quasi-Newton),其有很多變種: (

啟發式優化演算法梯度下降法梯度上升法

梯度下降演算法理論知識我們給出一組房子面積,臥室數目以及對應房價資料,如何從資料中找到房價y與面積x1和臥室數目x2的關係?本文旨在,通過數學推導的角度介紹梯度下降法 f

第一篇部落格對插入排序歸併排序演算法時間複雜度的學習

    第一次寫部落格,心情難免有點忐忑,不過為了達到心中的小目標,儘可能的用有效率的方法去提升自己。廢話不多說,下面進入正題。    剛看了網易公開課裡的《麻省理工學院公開課:演算法導論》,受益頗深!國外學校的講課方式確實更有趣味和深度(或許因為在學校壓根沒聽進去過幾節課)

] 找工作知識儲備(2)---陣列字串那些經典演算法最大子序列,最長遞增子序列,最長公共子串,最長公共子序列,字串編輯距離,最長不重複子串,最長迴文子串

作者:寒小陽 時間:2013年9月。 0、前言         這一部分的內容原本是打算在之後的字串或者陣列專題裡面寫的,但看著目前火熱進行的各家網際網路公司筆試面試中,出現了其中的一兩個內容,就隨即將這些經典問題整理整理,單寫一

KMP演算法O(n)線性時間字串匹配演算法

KMP演算法包括兩個子程式。其中KMP-MATCHER指字串匹配子程式,COMPUTE-PREFIX則為部分匹配表NEXT[]生成程式。《演算法導論》一書中有一句話,我認為說的非常透徹:“這兩個程式有很多相似之處,因為它們都是一個字串對模式P的匹配:KMP-MATCHER是文字T針對模式P的

K近鄰演算法機器學習萌新必學演算法

摘要:K近鄰(k-NearestNeighbor,K-NN)演算法是一個有監督的機器學習演算法,也被稱為K-NN演算法,由Cover和Hart於1968年提出,可以用於解決分類問題和迴歸問題。 1. 為什麼要學習k-近鄰演算法 k-近鄰演算法,也叫KNN演算法,是一個非常適合入門的演算法 擁有如下特性: ●

前端演算法羅馬數字變成阿拉伯數字 羅馬數字是由七個不同的符號來表示I,V,X,L,C,DM

羅馬數字是由七個不同的符號來表示I,V,X,L,C,D和M。 鍵:值 I 1 V 5 X 10 L 50 C 100 D

演算法給定一個整數陣列一個目標值,找出陣列中和為目標值的兩個數、判斷一個整數是否是迴文數

<!-- 給定一個整數陣列和一個目標值,找出陣列中和為目標值的兩個數。 你可以假設每個輸入只對應一種答案,且同樣的元素不能被重複利用。 示例: 給定 nums = [2, 7, 11, 15], target = 9 因為 nums[0] + nums[1] = 2 + 7 = 9

LeetCode演算法題53最大子序解析

給定一個整數陣列 nums ,找到一個具有最大和的連續子陣列(子陣列最少包含一個元素),返回其最大和。 示例: 輸入: [-2,1,-3,4,-1,2,1,-5,4], 輸出: 6 解釋: 連續子陣列 [4,-1,2,1] 的和最大,為 6。 這個題如果用暴力破解怕是複雜度有些過於

終極演算法機器學習人工智慧如何重塑世界筆記(轉)

終極演算法:機器學習和人工智慧如何重塑世界筆記 2017年08月17日 11:00:38 Notzuonotdied 閱讀數:4492 版權宣告:本文為博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/Notzuonotdied/artic

最優化字串求質數演算法

 最優化字串求質數演算法:   string 被除數 = "2", 除數 = "2", 除數後 = "2", 輸出 = "", 最小公倍集 = string.Join("\r\n", 讀文字記錄(@System.Environment.Curre

機器學習演算法實現解析——liblbfgs之L-BFGS演算法

在博文“優化演算法——擬牛頓法之L-BFGS演算法”中,已經對L-BFGS的演算法原理做了詳細的介紹,本文主要就開原始碼liblbfgs重新回顧L-BFGS的演算法原理以及具體的實現過程,在L-BFGS演算法中包含了處理L1正則的OWL-QN演算法,對於OWL-QN演算法的詳細原理,可以參見

機器學習筆記 第3課引數演算法非引數演算法

什麼是引數機器學習演算法?它與非引數機器學習演算法有何不同? “假設”通常會大大簡化學習過程,但也會限制學到的東西。將函式簡化為已知形式的演算法,稱為引數機器學習演算法。 它包括兩個步驟: 選擇函式的形式。 從訓練資料中學習該函式的係數。 常見的引數機器學習演算法是線

資料結構演算法第八章 圖論演算法

9.1 若干定義 圖的定義:一個圖(Graph) G=(V,E)是由頂點的集合V和邊Edge的集合E組成的。每一條邊就是一個頂點對(v,w),其中(v,w) ∈E。有時候也把邊叫做弧。如果頂點對是有序的,那麼圖就是有向的。有的圖也叫做有向圖。頂點w和頂點v鄰接當且僅當(v,w)

php四種基礎演算法冒泡,選擇,插入快速排序法 程式碼練習

function maopao($arr,$len) { for($i=1;$i<$len;$i++) { for($j=0;$j<$len-$i;$j++) { if($arr[$j]>$arr[$j+1])

實現簡易字串壓縮演算法由字母a-z或者A-Z組成,將其中連續出現2次以上(含2次)的字母轉換為字母出現次數,

@Test public void test1(){ String content1 = "AAAAAAAAAAAAAAAAAAAAAAAAttBffgfaaddddddsCDaaaBBBBdddfdsgggggg"; String result = yasuo(content1);

第一章Python資料結構演算法

第一章:Python資料結構和演算法 Python 提供了大量的內建資料結構,包括列表,集合以及字典。大多數情況下使用這些資料結構是很簡單的。 但是,我們也會經常碰到到諸如查詢,排序和過濾等等這些普遍存在的問題。 因此,這一章的目的就是討論這些比較常見的問題和演算法。 另外,我們也會

【TensorFlow原始碼系列】【四】圖優化演算法constant foldingCSE

TensorFlow中使用的圖優化演算法有:constant folding 和CSE(common-subexpression elimination) 【演算法一】constant folding 該演算法,是將graph中常量的計算合併起來。例如: C = A+B,其中A和B都是con

leetcode的python實現 刷題筆記9迴文數 暴力解法進階演算法

判斷一個整數是否是迴文數。迴文數是指正序(從左向右)和倒序(從右向左)讀都是一樣的整數。 示例 1: 輸入: 121 輸出: true 示例 2: 輸入: -121 輸出: false 解釋: 從左向右讀, 為 -121 。 從右向左讀, 為 121- 。因此它不是一個迴

最小生成樹演算法普里姆演算法克魯斯卡爾演算法

普里姆演算法—Prim演算法 演算法思路:  從已選頂點所關聯的未選邊中找出權重最小的邊,並且生成樹不存在環。 其中,已選頂點是構成最小生成樹的結點,未選邊是不屬於生成樹中的邊。 (普里姆演算法與求最短路徑的迪傑斯塔拉演算法思想很類似)   下面我們對下面這幅