1. 程式人生 > >吳恩達機器學習私人總結(1)

吳恩達機器學習私人總結(1)

mage 正常 誤差 私人 批梯度下降 分享 缺點 使用 映射

監督學習的回歸問題上做了介紹,講解的是房價問題:

采用的代價函數為全局的誤差計算,並將計算的參數結果同時更新,為批梯度下降法。

技術分享圖片

批梯度下降法在多個參數時的運算過程:

技術分享圖片

有時候,為了讓數據的影響程度,或者說是具有一致性,需要數據預處理,集中在均值0附件即可

技術分享圖片

在學習率問題上,采用倍數為3從0.001處開始進行的嘗試,是一種確定最佳學習率的方案。學習率過小只是需要更多的叠代次數,而過大則會導致誤差變大然後失去學習能力,反復變化學習誤差等。

技術分享圖片

有些輸入數據與輸出數據在進行映射時,應該考慮數據的聯合意義如:房價和房寬與房長:

技術分享圖片

在有些數據映射時,如果在數據點圖中,已經呈現出了一定的關系,可以使用同一變量的高次函數進行擬合,並通過事先的考慮,該高次函數能否正確映射到圖中:

技術分享圖片

對於輸入X特征,輸出Y的實際結果,對應的系數A可以直接求解而不用梯度下降:(都是矩陣向量)

技術分享圖片

在m訓練樣本,n特征的回歸問題上,梯度下降和使用矩陣運算直接求最終值時,各有優缺點。特征數量n小於1萬,還是建議直接用正常的矩陣運算,雖然復雜度為n3:

技術分享圖片

有時候(很少)不能進行矩陣逆運算的問題:特征之間有聯系,多余的特征,或者樣本數量很少但是特征卻很多很多:

技術分享圖片

吳恩達機器學習私人總結(1)