原創宣告：本文為SIGAI 原創文章，僅供個人學習使用，未經允許，不得轉載，不能用於商業目的。

 

1、為什麼隨機森林能降低方差？

隨機森林的預測輸出值是多課決策樹的均值，如果有n個獨立同分布的隨機變數  ，它們的方差都為  ，則它們的均值的方差為：

2、對於帶等式和不等式約束的優化問題，KKT條件是取得極值的充分條件還是必要條件？對於SVM呢？

對於一個一般的問題，KKT條件是取得極值的必要條件而不是充分條件。對於凸優化問題，則是充分條件，SVM是凸優化問題

 

3、解釋維數災難的概念

當特徵向量數理很少時，增加特徵，可以提高演算法的精度，但當特徵向量的維數增加到一定數量之後，再增加特徵，演算法的精度反而會下降

 

4、Logistic迴歸為什麼用交叉熵而不用歐氏距離做損失函式？

如果用歐氏距離，不是凸函式，而用交叉熵則是凸函式

 

5、解釋hinge loss損失函式

如果樣本沒有違反不等式約束，則損失為0；如果違反約束，則有一個正的損失值

 

6、解釋GBDT的核心思想

用加法模擬，更準確的說，是多棵決策樹樹來擬合一個目標函式。每一棵決策樹擬合的是之前迭代得到的模型的殘差。求解的時候，對目標函式使用了一階泰勒展開，用梯度下降法來訓練決策樹

 

7、解釋XGBoost的核心思想

在GBDT的基礎上，目標函式增加了正則化項，並且在求解時做了二階泰勒展開

 

8、解釋DQN中的經驗回放機制，為什麼需要這種機制？

將執行動作後得到的狀態轉移構造的樣本儲存在一個列表中，然後從中隨機抽樣，來訓練Q網路。為了解決訓練樣本之間的相關性，以及訓練樣本分佈變化的問題

 

9、什麼是反捲積？

反捲積也稱為轉置卷積，如果用矩陣乘法實現卷積操作，將卷積核平鋪為矩陣，則轉置卷積在正向計算時左乘這個矩陣的轉置  ，在反向傳播時左乘W，與卷積操作剛好相反，需要注意的是，反捲積不是卷積的逆運算

 

10、反捲積有哪些用途？

實現上取樣；近似重構輸入影象，卷積層視覺化

 

11、PCA（主成分分析）優化的目標是什麼？

最小化重構誤差/最大化投影后的方差

 

12、LDA（線性判別分析）優化的目標是什麼？

最大化類間差異與類內差異的比值

 

13、解釋神經網路的萬能逼近定理

只要啟用函式選擇得當，神經元的數理足夠，至少有一個隱含層的神經網路可以逼近閉區間上任意一個連續函式到任意指定的精度

 

14、softmax迴歸訓練時的目標函式時凸函式嗎？

是，但有不止一個全域性最優解

 

15、SVM為什麼要求解對偶問題？為什麼對偶問題與原問題等價？

原問題不容易求解，含有大量的不易處理的不等式約束。原問題滿足Slater條件，強對偶成立，因此原問題與對偶問題等價

 

16、神經網路是生成模型還是判別模型？

判別模型，直接輸出類別標籤，或者輸出類後驗概率p(y|x)

 

17、logistic迴歸是生成模型還是判別模型？

判別模型，直接輸出類後驗概率p(y|x)，沒有對類條件概率p(x|y)或者聯合概率p(x, y)建模

 

18、對於支援向量機，高斯核一般比線性核有更好的精度，但實際應用中為什麼一般用線性核而不用高斯核？

如果訓練樣本的量很大，訓練得到的模型中支援向量的數量太多，在每次做預測時，高斯核需要計算待預測樣本與每個支援向量的內積，然後做核函式變換，這會非常耗；而線性核只需要計算

 

19、高斯混合模型中，為什麼各個高斯分量的權重之和要保證為1？

為了保證這個函式時一個概率密度函式，即積分值為1

 

20、介紹beam search演算法的原理

這是一種解碼演算法，每次選擇概率最大的幾個解作為候選解，逐步擴充套件

 

21、介紹seq2seq的原理

整個系統由兩個RNN組成，一個充當編碼器，一個充當解碼器；編碼器依次接收輸入的序列資料，當最後一個數據點輸入之後，將迴圈層的狀態向量作為語義向量，與解碼器網路的輸入向量一起，送入解碼器中進行預測

 

22、介紹CTC的原理

CTC通過引入空白符號，以及消除連續的相同符號，將RNN原始的輸出序列對映為最終的目標序列。可以解決對未對齊的序列資料進行預測的問題，如語音識別

 

23、介紹廣義加法模型的原理

廣義加法模型用多個基函式的和來擬合目標函式，訓練的時候，依次確定每個基函式

 

24、為什麼很多時候用正態分佈來對隨機變數建模？

現實世界中很多變數都服從或近似服從正態分佈。中心極限定理指出，抽樣得到的多個獨立同分布的隨機變數樣本，當樣本數趨向於正無窮時，它們的和服從正態分佈

 

25、Batch Normalization 和 Group Normalization有何區別？

BN是在batch這個維度上進行歸一化，GN是計算channel方向每個group的均值和方差

 

26、GAN中模型坍塌（model collapse）是指什麼？

模型坍塌，即產生的樣本單一，沒有了多樣性。

 

27、 目前GAN訓練中存在的主要問題是什麼？

（1）訓練不易收斂（2）模型坍塌  

 

28、Shufflenet為什麼效果會好？

通過引入“通道重排”增加了組與組之間資訊交換

 

29、模型壓縮的主要方法有哪些？

（1）從模型結構上優化：模型剪枝、模型蒸餾、automl直接學習出簡單的結構

（2）模型引數量化將FP32的數值精度量化到FP16、INT8、二值網路、三值網路等

​

30、目標檢測中IOU是如何計算的？

檢測結果與Ground Truth 的交集比上它們的並集，即為檢測的準確率IoU

 

31、給定0-1矩陣，如何求連通域？

可採用廣度優先搜尋

 

​32、OCR任務中文字序列識別的主流方法是什麼？

            RNN+CTC

 

33、在神經網路體系結構中，哪些會有權重共享？？

（1）卷積神經網路

（2）遞迴神經網路

（3）全連線網路

答案（1）&（2）

 

34、 一個典型人臉識別系統的識別流程？

人臉檢測--》人臉對齊--》人臉特徵提取--》人臉特徵比對

 

35、平面內有兩個矩形，如何快速計算它們的IOU？

 

 

36、使用深度卷積網路做影象分類如果訓練一個擁有1000萬個類的模型會碰到什麼問題？

提示：記憶體/視訊記憶體佔用；模型收斂速度等

 

37、 HMM和CRF的區別？

前者描述的是P(X,Y)=P(X|Y)*P(Y), 是generative model; 後者描述的是P(Y|X), 是discriminative model. 前者你要加入對狀態概率分佈的先驗知識，而後者完全是data driven.

 

38、深度學習中為什麼不用二階導去優化？

Hessian矩陣是n*n， 在高維情況下這個矩陣非常大，計算和儲存都是問題

       

39、深度機器學習中的mini-batch的大小對學習效果有何影響？

mini-batch太小會導致收斂變慢，太大容易陷入sharp minima，泛化性不好

​

40、線性迴歸對於資料的假設是怎樣的？

http://en.wikipedia.org/wiki/Linear_regression  

（1） 線性，y是多個自變數x之間的線性組合

（2）同方差性，不同的因變數x的方差都是相同的

（3）弱外生性，假設用來預測的自變數x是沒有測量誤差的

（4）預測變數之中沒有多重共線性

​

41、什麼是共線性, 跟過擬合有啥關聯?

共線性：多變數線性迴歸中，變數之間由於存在高度相關關係而使迴歸估計不準確。

共線性會造成冗餘，導致過擬合。

 解決方法：排除變數的相關性／加入權重正則。

​

42、Bias和Variance的區別？

 

Bias量了學習演算法的期望預測與真實結果的偏離程度，即刻畫了演算法本身的擬合能力。

Variance度量了同樣大小的訓練集的變動所導致的學習效能變化，即刻畫了資料擾動所造成的影響。
 

 

推薦閱讀

[1]機器學習-波瀾壯闊40年【獲取碼】SIGAI0413.

[2]學好機器學習需要哪些數學知識？【獲取碼】SIGAI0417.

[3] 人臉識別演算法演化史【獲取碼】SIGAI0420.

[4]基於深度學習的目標檢測演算法綜述 【獲取碼】SIGAI0424.

[5]卷積神經網路為什麼能夠稱霸計算機視覺領域？【獲取碼】SIGAI0426.

[6] 用一張圖理解SVM的脈絡【獲取碼】SIGAI0428.

[7] 人臉檢測演算法綜述【獲取碼】SIGAI0503.

[8] 理解神經網路的啟用函式 【獲取碼】SIGAI2018.5.5.

[9] 深度卷積神經網路演化歷史及結構改進脈絡-40頁長文全面解讀【獲取碼】SIGAI0508.

[10] 理解梯度下降法【獲取碼】SIGAI0511.

[11] 迴圈神經網路綜述—語音識別與自然語言處理的利器【獲取碼】SIGAI0515

[12] 理解凸優化 【獲取碼】SIGAI0518

[13] 【實驗】理解SVM的核函式和引數 【獲取碼】SIGAI0522

[14]【SIGAI綜述】行人檢測演算法 【獲取碼】SIGAI0525

[15] 機器學習在自動駕駛中的應用—以百度阿波羅平臺為例(上)【獲取碼】SIGAI0529

[16]理解牛頓法【獲取碼】SIGAI0531

[17] 【群話題精華】5月集錦—機器學習和深度學習中一些值得思考的問題【獲取碼】SIGAI 0601

[18] 大話Adaboost演算法 【獲取碼】SIGAI0602

[19] FlowNet到FlowNet2.0：基於卷積神經網路的光流預測演算法【獲取碼】SIGAI0604

[20] 理解主成分分析(PCA)【獲取碼】SIGAI0606

[21] 人體骨骼關鍵點檢測綜述 【獲取碼】SIGAI0608

[22]理解決策樹 【獲取碼】SIGAI0611

[23] 用一句話總結常用的機器學習演算法【獲取碼】SIGAI0611

[24] 目標檢測演算法之YOLO 【獲取碼】SIGAI0615

[25] 理解過擬合 【獲取碼】SIGAI0618

[26]理解計算：從√2到AlphaGo ——第1季從√2談起 【獲取碼】SIGAI0620

[27] 場景文字檢測——CTPN演算法介紹 【獲取碼】SIGAI0622

[28] 卷積神經網路的壓縮和加速 【獲取碼】SIGAI0625

[29] k近鄰演算法 【獲取碼】SIGAI0627

[30]自然場景文字檢測識別技術綜述 【獲取碼】SIGAI0627

[31] 理解計算：從√2到AlphaGo ——第2季神經計算的歷史背景 【獲取碼】SIGAI0704

[32] 機器學習演算法地圖【獲取碼】SIGAI0706

[33] 反向傳播演算法推導-全連線神經網路【獲取碼】SIGAI0709

[34] 生成式對抗網路模型綜述【獲取碼】SIGAI0709.

[35]怎樣成為一名優秀的演算法工程師【獲取碼】SIGAI0711.

[36] 理解計算：從根號2到AlphaGo——第三季神經網路的數學模型【獲取碼】SIGAI0716

[37]【技術短文】人臉檢測演算法之S3FD 【獲取碼】SIGAI0716

[38] 基於深度負相關學習的人群計數方法【獲取碼】SIGAI0718

[39] 流形學習概述【獲取碼】SIGAI0723

[40] 關於感受野的總結 【獲取碼】SIGAI0723

[41] 隨機森林概述 【獲取碼】SIGAI0725

[42] 基於內容的影象檢索技術綜述——傳統經典方法【獲取碼】SIGAI0727

[43] 神經網路的啟用函式總結【獲取碼】SIGAI0730

[44] 機器學習和深度學習中值得弄清楚的一些問題【獲取碼】SIGAI0802

[45] 基於深度神經網路的自動問答系統概述【獲取碼】SIGAI0803

[46] 反向傳播演算法推導——卷積神經網路 【獲取碼】SIGAI0806

[47] 機器學習與深度學習核心知識點總結寫在校園招聘即將開始時 【獲取碼】SIGAI0808

[48] 理解Spatial Transformer Networks【獲取碼】SIGAI0810

[49]AI時代大點兵-國內外知名AI公司2018年最新盤點【獲取碼】SIGAI0813

[50] 理解計算：從√2到AlphaGo ——第2季神經計算的歷史背景 【獲取碼】SIGAI0815

[51] 基於內容的影象檢索技術綜述--CNN方法【獲取碼】SIGAI0817

[52]文字表示簡介 【獲取碼】SIGAI0820

[53]機器學習中的最優化演算法總結【獲取碼】SIGAI0822

[54]【AI就業面面觀】如何選擇適合自己的舞臺？【獲取碼】SIGAI0823

[55]濃縮就是精華-SIGAI機器學習藍寶書【獲取碼】SIGAI0824

[56]DenseNet詳解【獲取碼】SIGAI0827

[57]AI時代大點兵國內外知名AI公司2018年最新盤點【完整版】【獲取碼】SIGAI0829

[58]理解Adaboost演算法【獲取碼】SIGAI0831

[59]深入淺出聚類演算法【獲取碼】SIGAI0903

[60]機器學習發展歷史回顧【獲取碼】SIGAI0905

[61] 網路表徵學習綜述【獲取碼】SIGAI0907

[62]視覺多目標跟蹤演算法綜述(上)【獲取碼】SIGAI0910

[63] 計算機視覺技術self-attention最新進展【獲取碼】SIGAI0912 

[64] 理解Logistic迴歸【獲取碼】SIGAI0914

[65] 機器學習中的目標函式總結【獲取碼】SIGAI0917

[66] 人臉識別中的活體檢測演算法綜述【獲取碼】SIGAI0919

[67] 機器學習與深度學習常見面試題（上）【獲取碼】SIGAI0921

[68] 淺談動作識別TSN，TRN，ECO【獲取碼】SIGAI0924

[69] OCR技術簡介【獲取碼】SIGAI0926

[70] 輕量化神經網路綜述【獲取碼】SIGAI1001

[71] 行人重識別PCB-RPP，SGGNN 【獲取碼】SIGAI1001

[72] 人工智慧非技術從業者必知的十件事【獲取碼】SIGAI1008

[73] 理解生成模型與判別模型【獲取碼】SIGAI1010s

[74] 目標檢測最新進展總結與展望【獲取碼】SIGAI012

[75] 三維深度學習的目標分類和語義切割【獲取碼】SIGAI1015

[76]化秋毫為波瀾：運動放大演算法（深度學習版）【獲取碼】SIGAI1017

[77]  理解計算：從√2到AlphaGo ——第5季導數的前世今生 【獲取碼】SIGAI0815

[78]  深度多目標跟蹤演算法綜述【獲取碼】SIGAI1022

原創宣告：本文為SIGAI 原創文章，僅供個人學習使用，未經允許，不能用於商業目的