1. 程式人生 > >梯度下降在實踐I -特征縮放

梯度下降在實踐I -特征縮放

不同 最小值 理想 編程 images 快速 防止 變量 進行

我們可以通過使每個輸入值在大致相同的範圍內加快梯度下降速度。這是因為θ下降很快在小範圍和在大範圍很慢,所以將振蕩不到最佳當變量很不平衡

防止這種情況的方法是修改輸入變量的範圍,使它們完全相同。理想的:

技術分享

這些不是確切的要求,我們只是想加快速度。我們的目標是將所有輸入變量大致放在其中一個範圍內,或取一些。

有兩種技術可以幫助我們進行特征縮放和均值歸一化。特征縮放包括將輸入值除以輸入變量的最大值(即最大值減去最小值),從而使新範圍僅為1。均值歸一化包括從輸入變量的值減去輸入變量的平均值,從而使輸入變量的新平均值為零。要實現這兩種技術,請調整您的輸入值,如本公式所示:

技術分享

ui:第i組輸入量的平均值。

si:第i組輸入量的最大值減去最小值。

請註意除以範圍,或除以標準偏差,給出不同的結果。本課程的測驗使用範圍-編程練習使用標準差。

例如,如果XI表示房價為100到2000,平均值為1000,那麽,

技術分享

梯度下降在實踐I -特征縮放