Batch Normalization -- 解決梯度消失問題

Batch Normalization導讀：

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift：google 論文

《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》閱讀筆記與實現：

如何解決梯度消失、梯度爆炸：

1、對於RNN，可以通過梯度截斷，避免梯度爆炸
2、可以通過新增正則項，避免梯度爆炸
3、使用LSTM等自迴圈和門控制機制，避免梯度消失，參考：https://www.cnblogs.com/pinking/p/9362966.html
4、優化啟用函式，譬如將sigmold改為relu，避免梯度消失