三、權重初始化問題2_ReLu激勵函式

1、說明

2、ReLu/PReLu激勵函式

• 目前ReLu啟用函式使用比較多，而上面一篇論文沒有討論，如果還是使用同樣初始化權重的方法（Xavier初始化）會有問題
• PReLu函式定義如下：
  
  • 
  • 等價於：
• ReLu（左）和PReLu（右）啟用函式影象
  

3、前向傳播推導

• 符號說明
  
  • ε……………………………………目標函式
  • μ……………………………………動量
  • α……………………………………學習率
  • f()………………………………激勵函式
  • l……………………………………當前層
  • L……………………………………神經網路總層數
  • k……………………………………過濾器filter
    的大小
  • c……………………………………輸入通道個數
  • x……………………………………k^2c*1的向量
  • d……………………………………過濾器filter的個數
  • b……………………………………偏置向量
• ……………………………………………………..(1)
  
  • 
  • 
• 根據式(1)得：
  …………………………………………..(2)
• 因為初始化權重w均值為0，所以期望：，方差：
• 根據式(2)繼續推導：
  ……………………………………..(3)
  
  • 對於x來說：，除非x的均值也是0,
  • 對於ReLu函式來說：，所以不可能均值為0
• w滿足對稱區間的分佈，並且偏置，所以也滿足對稱區間的分佈，所以：
  ……………………………………(4)
• 將上式(4)代入(3)中得：
  ……………………………………………….(5)
• 所以對於L層:
  ……………………………………………………………(6)
  
  • 從上式可以看出，因為累乘的存在，若是，每次累乘都會使方差縮小，若是大於1，每次會使方差當大。
  • 所以我們希望：
    
• 所以初始化方法為：是w滿足均值為0，標準差為的高斯分佈，同時偏置初始化為0

4、反向傳播推導

• …………………………………………….(7)
  
  • 假設和相互獨立的
  • 當初始化Wie對稱區間的分佈時，可以得到：的均值為0
  • △x,△y都表示梯度，即：
    ，
• 根據反向傳播：
  
  
  • 對於ReLu函式，f的導數為0或1，且概率是相等的，假設和是相互獨立的，
  • 所以：
• 所以：……………………………………………(8)
• 根據(7)可以得到：
  
• 將L層展開得：
  …………………………………………………..(9)

• 同樣令：

  • 注意這裡：，而

• 所以應滿足均值為0，標準差為：的分佈

5、正向和反向傳播討論、實驗和PReLu函式

• 對於正向和反向兩種初始化權重的方式都是可以的，論文中的模型都能夠收斂
• 比如利用反向傳播得到的初始化得到：

• 對應到正向傳播中得到：
  

• 所以也不是逐漸縮小的

• 實驗給出了與第一篇論文的比較，如下圖所示，當神經網路有30層時，Xavier初始化權重的方法（第一篇論文中的方法）已經不能收斂。
  
• 對於PReLu激勵函式可以得到：
  
  • 當a=0時就是對應的ReLu激勵函式
  • 當a=1是就是對應線性函式