1. 程式人生 > >共軛函數和原函數的關系

共軛函數和原函數的關系

好的 它的 最小 不一定 變量 函數 簡單 空間 最小值

原函數約束很多,不一定是凸函數,也就是說原函數是一個也許有很多極小值的多維空間函數,它是不容易求最小值的。用來擬合,容易陷入局部最小值,得到的結果不夠泛化。舉例:一個訓練好的分類器,對一些東西分類很準(擬合誤差達到局部極小值),泛化能力很差(擬合誤差不是全局最小)。通過求共軛函數,我們把它原函數映射到另一個多維空間(自變量都變了),變成一個新函數,這個函數是凸的,而且它的最大值小於等於原函數的最小值。這樣求原函數最小值問題,變成一個無約束凸函數的求最大值問題。那就很簡單了,只要求新函數的唯一鞍點(梯度為零)。這樣原本難以進行全局最優擬合的問題,變成可以擬合最優了。

共軛函數和原函數的關系