機器學習經典演算法（三）--指數加權平均

機器學習經典演算法（三）–指數加權平均

指數加權平均（Exponentially Weighted Averages）是一些改進梯度下降法重要理論，如上篇博文梯度下降法（2）提到的動量梯度下降法，RMSprop、Adam等都用到了指數加權平均。也叫指數加權移動平均（Exponentially Weighted Moving Averages）；那麼到底什麼是指數加權平均呢？

基礎概念
話說有這麼一個例子，如下圖，橫軸表示天數 $i$

i

$i$ ，縱軸表示某地每天對應的溫度

θ_{i}

$\theta_i$ ，這是1年的資料，現在我們想計算一下，這一年溫度變化的趨勢

這個變化趨勢也就是區域性平均或移動平均，怎麼做呢？
我們用

v_{i}

$v_i$ 表示這個平均值，引入一個

β

$\beta$ 引數，且令

v_{0} = 0

$v_0=0$ ，

v_{i} = β * v_{i - 1} + (1 - β) * θ_{i}

$v_i = \beta *v_{i-1} + (1-\beta) * \theta_i$
這樣一個式子表達了相當於，當天的溫度平均值約等於 前 $T$ 天溫度資料加權平均，

T \approx \frac{1}{1 - β}

$T \approx \frac {1}{1-\beta}$ 。
例如：

β = 0.9

$\beta =0.9$ 時，

T = 10

$T = 10$ 天，效果如圖：

例如： $\beta =0.98$ 時， $T = 50$ 天，效果如圖：

例如： $\beta =0.5$ 時， $T = 2$ 天，效果如圖：

從上述3種情況對比看，該資料平均前10天較為符合我們期望；前50天曲線太平滑，有點偏離資料；前2天與資料較為貼合，但同時存在噪聲。

進一步理解
我們將上式展開，這裡用第100個平均值， $\beta = 0.9$ 為例：

\begin{array}{rcl} (19) & v_{100} & = & 0.9 * v_{99} + 0.1 * θ_{100} \\ (20) & v_{99} & = & 0.9 * v_{98} + 0.1 * θ_{99} \\ (21) & v_{98} & = & 0.9 * v_{97} + 0.1 * θ_{98} \\ (22) & \dots \end{array}

$\begin{eqnarray} v_{100}&=& 0.9*v_{99}+0.1*\theta_{100}\\ v_{99}&=& 0.9*v_{98}+0.1*\theta_{99}\\ v_{98}&=& 0.9*v_{97}+0.1*\theta_{98}\\ \cdots \end{eqnarray}$
則：

\begin{array}{rcl} (23) & v_{100} & = & 0.1 * θ_{100} + 0.9 * v_{99} \\ (24) & = & 0.1 * θ_{100} + 0.9 (0.1 * θ_{99} + 0.9 * v_{98}) \\ (25) & = & 0.1 * θ_{100} + 0.9 (0.1 * θ_{99} + 0.9 (0.1 * θ_{98} + 0.9 * v_{97}) \\ (26) & \dots \\ (27) & = & 0.1 * θ_{100} + 0.1 * 0.9 θ_{99} + 0.1 * {0.9}^{2} θ_{98} + 0.1 * {0.9}^{3} * θ_{97} + \dots + 0.1 * {0.9}^{99} θ_{1} \end{array}

$\begin{eqnarray} v_{100}&=& 0.1*\theta_{100} +0.9*v_{99}\\ &=& 0.1*\theta_{100} +0.9(0.1*\theta_{99} + 0.9*v_{98})\\ &=& 0.1*\theta_{100} +0.9(0.1*\theta_{99} + 0.9(0.1*\theta_{98} + 0.9*v_{97} )\\ \cdots\\ &=& 0.1*\theta_{100} +0.1*0.9\theta_{99} + 0.1 * 0.9^2\theta_{98} + 0.1*0.9^3*\theta_{97} + \cdots + 0.1*0.9^{99}\theta_1 \end{eqnarray}$
從上式可以看出第100天的平均值是由前100天資料加權平均的，但是看它們的權重係數，是符合一個指數級衰減函式，當

T = 10

機器學習經典演算法（三）--指數加權平均

機器學習經典演算法（三）--指數加權平均

Python3實現機器學習經典演算法（四）C4.5決策樹

機器學習讀書筆記（三）決策樹基礎篇之從相親說起

機器學習之旅（三）

機器學習——整合演算法（二）

林軒田機器學習基石入門（三）

吳裕雄 python 機器學習-KNN演算法（1）

機器學習系列：（三）特徵提取與處理

spark機器學習筆記：（三）用Spark Python構建推薦系統

機器學習與演算法（11）--彈性網路(Elastic Net)

機器學習實戰教程（三）：決策樹實戰篇之為自己配個隱形眼鏡

Machine Learning第六講[應用機器學習的建議] --（三）建立一個垃圾郵件分類器

機器學習與演算法（6）--學習向量化

機器學習小實戰（三）貝葉斯實現拼寫檢查器

看懂論文的機器學習基本知識（三）--假正例、假負例、ROC曲線

機器學習經典演算法詳解及Python實現--線性迴歸（Linear Regression）演算法

機器學習經典演算法詳解及Python實現--決策樹（Decision Tree）

機器學習演算法（三）——樸素貝葉斯演算法及R語言實現方法

機器學習之十大經典演算法（八） PageRank演算法

機器學習經典演算法總結（3）——特徵選擇