學習中的梯度下降Ⅱ-學習率
阿新 • • 發佈:2017-07-23
減少 自動 cnblogs 需要 學習 ges com 技術 聲明
調試梯度下降。用x軸上的叠代數繪制一個圖。現在測量成本函數,J(θ)隨叠代次數下降。如果J(θ)不斷增加,那麽你可能需要減少α。
自動收斂試驗。如果該聲明收斂(θ)小於E在一次叠代中減少,其中E是一些小的值,如10?3。然而,在實踐中很難選擇這個閾值。
它已被證明,如果學習率α足夠小,那麽J(θ)每次叠代都減小。
總結:
如果α太小,收斂速度慢
如果α太大:?可能不會在每次叠代不收斂,從而降低。
學習中的梯度下降Ⅱ-學習率