最優化方法總結
阿新 • • 發佈:2019-01-09
1. 座標下降法
coordinate descent method 【1】
對於一個最優化問題:min_x F(x_1,x_2,...x_n),其求解過程如下:
Loop until convergence:
{
For i=1:n
{
x_i = arg min_x_i F(x_1,x_2,...,x_i-1,x_i,x_i+1,...,x_n);
}
}
可以看出:
(1)座標下降法在每次迭代中在當前點處沿一個座標方向進行一維搜尋 ,固定其他的座標方向,找到一個函式的區域性極小值。
(2)座標下降優化方法是一種非梯度優化演算法。在整個過程中依次迴圈使用不同的座標方向進行迭代,一個週期的一維搜尋迭代過程相當於一個梯度迭代。
(3)gradient descent 方法是利用目標函式的導數(梯度)來確定搜尋方向的,該梯度方向可能不與任何座標軸平行。而coordinate descent方法是利用當前座標方向進行搜尋,不需要求目標函式的導數,只按照某一座標方向進行搜尋最小值。
此種演算法,在latenSVM-DPM中有使用。
2. 牛頓法
3. 梯度下降法