1. 程式人生 > >最優化方法總結

最優化方法總結

1. 座標下降法

coordinate descent method 【1】

對於一個最優化問題:min_x F(x_1,x_2,...x_n),其求解過程如下:

Loop until convergence:

{

     For i=1:n

     {

         x_i = arg min_x_i F(x_1,x_2,...,x_i-1,x_i,x_i+1,...,x_n);

      }

}

可以看出:
       (1)座標下降法在每次迭代中在當前點處沿一個座標方向進行一維搜尋 ,固定其他的座標方向,找到一個函式的區域性極小值。
       (2)座標下降優化方法是一種非梯度優化演算法。在整個過程中依次迴圈使用不同的座標方向進行迭代,一個週期的一維搜尋迭代過程相當於一個梯度迭代。
       (3)gradient descent 方法是利用目標函式的導數(梯度)來確定搜尋方向的,該梯度方向可能不與任何座標軸平行。而coordinate descent方法是利用當前座標方向進行搜尋,不需要求目標函式的導數,只按照某一座標方向進行搜尋最小值。


此種演算法,在latenSVM-DPM中有使用。

2. 牛頓法

3. 梯度下降法