1: LSTM結構推導，為什麼比RNN好？
答案：推導forget gate，input gate，cell state， hidden information等的變化；因為LSTM有進有出且當前的cell informaton是通過input gate控制之後疊加的，RNN是疊乘，因此LSTM可以防止梯度消失或者爆炸；
2：梯度消失爆炸為什麼？
答案：略
3：為什麼你用的autoencoder比LSTM好？
答案：我說主要還是隨機化word embedding的問題，autoencoder的句子表示方法是詞袋方法，雖然丟失順序但是保留物理意義；（?）
4: overfitting怎麼解決：
答案：dropout， regularization， batch normalizatin；
5：dropout為什麼解決overfitting，L1和L2 regularization原理，為什麼L1 regularization可以使引數優化到0， batch normalizatin為什麼可以防止梯度消失爆炸；
答案：略
6: 模型欠擬合的解決方法：
答案：我就說到了curriculum learning裡面的sample reweight和增加模型複雜度；還有一些特徵工程；然後問了常用的特徵工程的方法；
7：（簡歷裡面寫了VAE和GAN還有RL，牛逼吹大了）VAE和GAN的共同點是什麼，解釋一下GAN或者強化學習如何引用到你工作裡面的；
答案：略
傳統機器學習
1：SVM的dual problem推導；
2：random forest的演算法描述+bias和variance的分解公式；
3：HMM和CRF的本質區別；
4：頻率學派和貝葉斯派的本質區別；
5：常用的優化方法；
6: 矩陣行列式的物理意義（行列式就是矩陣對應的線性變換對空間的拉伸程度的度量，或者說物體經過變換前後的體積比）

那些深度學習《面試》你可能需要知道的
1.列舉常見的一些範數及其應用場景，如L0，L1，L2，L∞，Frobenius範數
答：p39-p40 ;還有p230-p236有regularization的應用
2.簡單介紹一下貝葉斯概率與頻率派概率，以及在統計中對於真實引數的假設。
答：p55
3.概率密度的萬能近似器
答：p67：3.10上面那一段
4.簡單介紹一下sigmoid，relu，softplus，tanh，RBF及其應用場景
答：sigmoid和softplus在p67頁;全部的在p193-p197
5.Jacobian，Hessian矩陣及其在深度學習中的重要性
答：p86-p92
6.KL散度在資訊理論中度量的是那個直觀量
答：p74
7.數值計算中的計算上溢與下溢問題，如softmax中的處理方式
答：p80-p81
8.與矩陣的特徵值相關聯的條件數(病態條件)指什麼，與梯度爆炸與梯度彌散的關係
答：p82;
9.在基於梯度的優化問題中，如何判斷一個梯度為0的零界點為區域性極大值/全域性極小值還是鞍點，Hessian矩陣的條件數與梯度下降法的關係
10.KTT方法與約束優化問題，活躍約束的定義
答：p93-p95
11.模型容量，表示容量，有效容量，最優容量概念
答：p111;p113;p114;p115
12.正則化中的權重衰減與加入先驗知識在某些條件下的等價性
答：p119;p138
13.高斯分佈的廣泛應用的緣由
答：p63-p64
14.最大似然估計中最小化KL散度與最小化分佈之間的交叉熵的關係
答：p132
15.線上性迴歸問題，具有高斯先驗權重的MAP貝葉斯推斷與權重衰減的關係，與正則化的關係
答:p138-p139
16.稀疏表示，低維表示，獨立表示
答：p147
17.列舉一些無法基於地圖(梯度?)的優化來最小化的代價函式及其具有的特點
答：p155 最頂一段
18.在深度神經網路中，引入了隱藏層，放棄了訓練問題的凸性，其意義何在
答：p191-192
19.函式在某個區間的飽和與平滑性對基於梯度的學習的影響
答：p160
20.梯度爆炸的一些解決辦法
答：p302
21.MLP的萬能近似性質
答：p198
22.在前饋網路中，深度與寬度的關係及表示能力的差異
答：p200-p201
23.為什麼交叉熵損失可以提高具有sigmoid和softmax輸出的模型的效能，而使用均方誤差損失則會存在很多問題。分段線性隱藏層代替sigmoid的利弊
答：p226;p226
24.表示學習的發展的初衷?並介紹其典型例子:自編碼器
答：p3-p4;p4
25.在做正則化過程中，為什麼只對權重做正則懲罰，而不對偏置做權重懲罰
答：p230
26.在深度學習神經網路中，所有的層中考慮使用相同的權重衰減的利弊
27.正則化過程中，權重衰減與Hessian矩陣中特徵值的一些關係，以及與梯度彌散，梯度爆炸的關係
答：p231-234
28.L1/L2正則化與高斯先驗/對數先驗的MAP貝葉斯推斷的關係
答：p234-p237
29.什麼是欠約束，為什麼大多數的正則化可以使欠約束下的欠定問題在迭代過程中收斂
答：p239
30.為什麼考慮在模型訓練時對輸入(隱藏單元/權重)新增方差較小的噪聲，與正則化的關係
答：p240-p243
31.共享引數的概念及在深度學習中的廣泛影響
答：p245;p253
32.Dropout與Bagging整合方法的關係，以及Dropout帶來的意義與其強大的原因
答：p258-p268
33.批量梯度下降法更新過程中，批量的大小與各種更新的穩定性關係
答：p279
34.如何避免深度學習中的病態，鞍點，梯度爆炸，梯度彌散
答：p282-p293
35.SGD以及學習率的選擇方法，帶動量的SGD對於Hessian矩陣病態條件及隨機梯度方差的影響
答：p294;p296-p300
36.初始化權重過程中，權重大小在各種網路結構中的影響，以及一些初始化的方法；偏置的初始化
答：初始化權重：p301-p305;偏置初始化：p305-p306
37.自適應學習率演算法:AdaGrad，RMSProp，Adam等演算法的做法
答：AdaGrad:p307; RMSProp:p307-p308; Adam:p308-p309
38.二階近似方法:牛頓法，共軛梯度，BFGS等的做法
答：牛頓法：p310-p313; 共軛梯度:p313-p316; BFGS:p316-p317
39.Hessian的標準化對於高階優化演算法的意義
答：p318-p321
40.卷積網路中的平移等變性的原因，常見的一些卷積形式
答：平移等變性：p338-p339;常見的一些卷積形式：p347-p358
41.pooling的做法的意義
答：p342-p347
42.迴圈神經網路常見的一些依賴迴圈關係，常見的一些輸入輸出，以及對應的應用場景
答：p378-p395
43.seq2seq，gru，lstm等相關的原理
答：seq2seq:p396-p397; gru:p411-p412; lstm:p408-p411
44.取樣在深度學習中的意義
答：p469-p471
45.自編碼器與線性因子模型，PCA，ICA等的關係
答：自編碼器與線性因子模型:p489-p490;PCA:p490-p491;ICA:p491-p493
46.自編碼器在深度學習中的意義，以及一些常見的變形與應用
答：意義:p502-p503; 常見變形:p503-p508;p509-p512; p521-p524應用:p515-p520;p524-p525
47.受限玻爾茲曼機廣泛應用的原因
答：p460:想特別瞭解的人注意這句話： See Mohamed et al. (2012b) for an analysis of reasons for the success of these models.
48.穩定分佈與馬爾可夫鏈
答：p595-p598
49.Gibbs取樣的原理
答：p599
50.配分函式通常難以計算的解決方案
答：p605,p606第一段
51.幾種引數估計的聯絡與區別:MLE/MAP/貝葉斯
答：P134-P139
52.半監督的思想以及在深度學習中的應用
答：p541-p546
53.舉例CNN中的channel在不同資料來源中的含義
答：p360-p362
54.深度學習在NLP，語音，影象等領域的應用及常用的一些模型
答：p452-p485
55.word2vec與glove的比較
答：How is GloVe different from word2vec? ; GloVe以及Word2vec能稱為deep learning麼?這倆模型的層次其實很淺的 ;//clic.cimec.unitn.it/marco/publications/acl2014/baroni-etal-countpredict-acl2014.pdf 這個問題沒找到答案，我去找了quora和知乎上的相關問題以及quora一個回答提及的論文。 (若有人在書中找到，請批評指正)
56.注意力機制在深度學習的某些場景中為何會被大量使用，其幾種不同的情形
答：p475-p476
57.wide&deep模型中的wide和deep介紹
答：

https://arxiv.org/pdf/1606.07792.pdf 此問題答案未在書中找到，為此我去找了原論文，論文圖1有詳細的介紹。 (若有人在書中找到，請批評指正)
58.核迴歸與RBF網路的關係
答：p142
59.LSTM結構推導，為什麼比RNN好?
答：p408-p411
60.過擬合在深度學習中的常見的一些解決方案或結構設計
答：p230-p268;包括：Parameter Norm Penalties( 引數範數懲罰); Dataset Augmentation (資料集增強); Early Stopping(提前終止); Parameter Tying and Parameter Sharing (引數繫結與引數共享); Bagging and Other Ensemble Methods(Bagging 和其他整合方法);Dropout. 另外還有Batch Normalization。
61.怎麼理解貝葉斯模型的有效引數資料會根據資料集的規模自動調整
答：關於非引數模型：p115-p116 ;非引數模型不依賴於特定的概率模型，它的引數是無窮維的，資料集的規模的大小影響著模型使用更多或者更少的引數來對其進行建模。