關於深度學習的基本知識（面試常見問題）
阿新 • • 發佈：2019-02-04
- Inpaint：訓練時候聯合對抗失真，測試時候聯合紋理失真，對抗失真 反向求導
- Dilated Convolution（擴展卷積或空洞卷積） 的最大價值是可以不改變feature map的大小而增大感受野。而之前的FCN使用pooling下采樣來增大感受野，但隨後又不得不通過Deconvolution或者upsampling來增大feature map大小，這樣的一小一大總會損失很多資訊。
- SRGAN： perceptual loss
- 風格遷移 gram矩陣，計算特徵相關性 最小化特徵層損失可以重構影象
- Adversarial Loss 在所有訓練樣本上，基於判別器的概率定義 generative loss ：
- 反捲積，低維特徵對映到高維，自編碼器
- 網路引數越接近輸出層越容易訓練。
- mobleNet
- 防止過擬合:採用權重正則化（產生較為簡單的模型得到係數解，減小不重要的引數對最後結果的影響），BN，增加樣本，Dropout。欠擬合：丟資料，增加模型複雜度
- Inpaint：門控捲積，區域性卷積
- Drop 層測試時候不需要 因為都是學習的引數
- Faster rcnn較為準確，但是慢十倍
- Faster RCNN中 anchor 只用在最後一個卷積層，但是在SSD中，default box 是應用在多個不同層的feature map上
- BN：可以事先將特徵去相關，模型的輸入特徵不相關且滿足標準正態分佈N(0, 1)時，模型的表現一般較好。初始時加速訓練速度，具有快速訓練收斂的特性。消除W放大縮小的影響解決梯度消失與梯度爆炸。
- ResNet 反向求導有1，缺點可能很多層無用，densnet 緩解梯度消失問題，加強特徵傳播，鼓勵特徵複用，極大的減少了引數量，特徵利用率大 收斂塊 缺點特徵爆炸DneseNet在訓練時十分消耗記憶體
- 遷移學習(Transfer learning) 顧名思義就是就是把已學訓練好的模型引數遷移到新的模型來幫助新模型訓練
- RCNN：真值重疊面積大於0.6的候選框進行邊框迴歸，RPN它能和整個檢測網路共享全圖的卷積特徵；faster rcnn。 ROIpooling ROIalign固定特徵維度，後面連線兩個全連線層：bbox迴歸層（reg）和box分類層（cls）。
- YOLO迴歸問題，SSD還要快
- mask rcnn的主要貢獻其實就是roi align以及加了一個mask分支
- SSD預測出每個box相對於default box的位置偏移和寬高值。yolo-v3的作者覺得這樣。所以yolov3的作者對於這位置偏移值都再做一個sigmoid啟用，將範圍縮為0-1
- Perceptual Loss的出現證明了一個訓練好的CNN網路的feature map可以很好的作為影象生成中的損失函式的輔助工具
- Batch size 太大（記憶體，一般來說 Batch_Size 越大，其確定的下降方向越準，由於不同權重的梯度值差別巨大，因此選取一個全域性的學習率很困難，容易達到區域性最優，引起訓練震盪越小，採用RMSprop） 太小（訓練速度很慢，訓練不容易收斂）
- 騰訊面試：梯度彌散，SVM核函式（線性，多項式，高斯核函式），梯度消失（ResNet,BN,減少層數，使用ReLu啟用函式）：梯度爆炸（BN，正則化，引數初始化，減少層數，啟用，梯度截斷）：
