梯度 tex 回歸 同步 常常 最好 可能 機器 http

監督學習算法工作流程

  技術分享圖片

  h代表假設函數,h是一個引導x得到y的函數

  如何表示h函數是監督學習的關鍵問題

  線性回歸:h函數是一個線性函數

代價函數

  在線性回歸問題中,常常需要解決最小化問題。代價函數常用平方誤差函數來表示

  代價函數就是用於找到最優解的目的函數,這也是代價函數的作用

  ps:盡可能簡化問題去理解一些抽象概念,如單一的參數變化等等

  可以利用代價函數去尋找你擬合效果最好的假設函數的參數

  當參數很多時,利用圖表來尋找最小代價函數就變得比較復雜,故引出梯度下降法。

梯度下降法最小化任意代價函數J

  技術分享圖片

  梯度下降法的思路:給定初始值,一般初始值為0.然後不斷修改參數直到目標函數取到最小值

  梯度下降法示意圖:

    技術分享圖片技術分享圖片

    一、把圖像看做一座山,梯度下降法就是尋找最快下山的路徑。給定初始位置,尋找當前點下降最快的方向並往前邁進一小步,不斷重復直到找到局部局部最優解。

    二、當初始位置不同時,所得到的局部最優解也是不同的。

  梯度下降法公式分析:

    技術分享圖片

    實現這個算法的關鍵是采用同步更新,即技術分享圖片

  梯度下降法可以收斂到局部最低點的原因:當處於最低點時,導數為0,此時的參數和原來的參數是一樣的,而且學習率α保持不變且不為0(因為趨近於最低點時,導數的數值在不斷地變小),最終θj依然可以保持不變。

  此外,α的取值需要合適。太小算法運行時間較長,太大有可能越過局部最低點導致算法不收斂。

Andrew Ng機器學習第一章——單變量線性回歸