開篇

今天面試了一下阿里高德，面試問題記錄一波，面試的時候問得還是超級細的，深度學習演算法和傳統的學習演算法都有問到，視訊面的時候我也是一塌糊塗，不過居然莫名其妙的過了。
1、梯度爆炸和梯度消失的問題，這裡面還順帶問了一下sigmoid函式梯度的最大值（0.25）
這部分我答的好像還不是很糟糕，放上我以前寫的部落格，作為大家的參考
https://blog.csdn.net/ding_xiaofei/article/details/81198850

2、BN（Batchnorm）
除了解決梯度消失和梯度爆炸還有那些優點
沒有它之前，需要小心的調整學習率和權重初始化，但是有了BN可以放心的使用大學習率，但是使用了BN，就不用小心的調參了，較大的學習率極大的提高了學習速度；
Batchnorm本身上也是一種正則的方式，可以代替其他正則方式如dropout等；
另外，個人認為，batchnorm降低了資料之間的絕對差異，有一個去相關的性質，更多的考慮相對差異性，因此在分類任務上具有更好的效果。（比賽中也經常使用到這個，保證分類的效果）

3、LSTM的結構
這個我是真的有點忘記了，這邊使用巨集毅大神的圖複習一下基本的LSTM概念。
具體的概念可以參考我的部落格
https://blog.csdn.net/ding_xiaofei/article/details/81214396
這邊主要說一下它的幾個門，門機制是LSTM的核心所在，首先是forget gate和input gate，都是sigmoid函式，決定了c要忘記什麼，要記住新來的什麼內容。output gate就是決定tanh（ct）裡面有什麼內容要輸出啦。輸出就是ht，ht會最終決定yt的輸出。

4、LSTM的引數個數，這個問題一上來就把我問懵了，本來lstm的結構我就記不太清了，猛得來一個這個問題
讓我們舉一個簡單的例子，先就計算一個cell裡面的引數個數，我們接受的xt是1000維的詞向量，我們的ht也是1000維的向量，這樣我們的輸入就是2000維，為了保證我們中間傳遞的維度也是1000維，我們的w應該是10002000維的，我們使用到引數的其實就是3個門和一個z，這裡是（1000

5、說說GRU和LSTM的區別
GRU裡面只有兩個門，重置門rt和更新門zt

LSTM的結構是一定要會畫的，GRU最好也是要能會畫。