1. 程式人生 > >深度學習中30個關於資料的問題

深度學習中30個關於資料的問題

(1)下面的資料是線性可分的嘛? 否
這裡寫圖片描述
(2)下面哪個是通用的模型逼近器?
A) Kernel SVM
B) Neural Networks
C) Boosted Decision Trees
D) All of the above
D:以上所有都可以得到一個近似的函式。
(3)下面那個問題可以用深度學習來解決? D
A:蛋白質結構預測
B:化學反應的預測
C:外來粒子的檢測
D:以上所有
(4)當您在CNN中使用1×1卷積時,以下哪個語句是真實的? D
A) It can help in dimensionality reduction
B) It can be used for feature pooling
C) It suffers less overfitting due to small kernel size
D) All of the above
(5)問題背景:


1:可以訓練一個網路,所有權值初始化為0; 錯
2:可以訓練一個網路,將偏置初始化為0; 對
答:即使所有偏差都為零,神經網路也可能有學習的機會;如果所有的權重都是零,神經網路可能永遠不會執行學習任務。
(6)輸入層中的節點數為10,隱層為5。從輸入層到隱層的最大連線數為?
A) 50
B) Less than 50
C) More than 50
D) It is an arbitrary value
A:由於MLP是完全連線的有向圖,連線數最大是輸入層和隱藏層中節點數量的倍數。
(7)輸入影象被轉換成大小為28×28的矩陣,大小為7×7的核/濾波器,步長為1。得到的卷積矩陣的大小是多少? 22×22

答:根據C =((I-F + 2P)/ S)+1,C是卷積矩陣的大小,I是輸入矩陣的大小,F是濾波器的大小 矩陣和P填充應用於輸入矩陣,S是步長。((28-7+2×0)/1)+1=22
(8)在輸入層中有8個神經元的簡單MLP模型中,隱藏層中有5個神經元和1個輸出層神經元。 隱藏輸出層和輸入隱層之間權重矩陣的大小是多少?
A) [1×5] , [5×8]
B) [8×5] , [1×5]
C) [8×5] , [5×1]
D) [5×1] , [8×5]
D:任何層1和層2之間的權重大小由[層2中的節點在層2中的X個節點]給出。
(9)將卷積核F以步長為2作用在矩陣I上,得到的結果為? C

這裡寫圖片描述
這裡寫圖片描述
(10)給定如下大小為7×7的矩陣,當用一個大小為3×3,stride為2的max-pooling進行池化,輸出為? A
這裡寫圖片描述

(11)如果我們希望預測n個類(p1,p2..pk)的概率,使得所有n的p的和等於1,則以下哪個函式可以用作輸出層中的啟用函式?
A) Softmax
B) ReLu
C) Sigmoid
D) Tanh
A:softmax所有輸出的k個概率和為1。
(12)假設一個簡單的MLP模型有3個神經元,輸入1,2,3,每個神經元的權重初始化為4,5,6。啟用函式是一個常量為3的線性函式,輸出為?
3×(1×4+2×5+3×6)=96
(13)下面哪個啟用函式在影象分類中不能作為輸出層?
A) sigmoid
B) Tanh
C) ReLU
D) If(x>5,1,0)
E) None of the above
C:ReLU輸出的是0到無窮大範圍內的連續輸出,而輸出層需要的是一個有限範圍內的值。
(14)神經網路中,每個引數都可以有自己的學習率?
答案是肯定的。
(15)Dropout可以應用到神經網路模型的可見層中?
答案是肯定的,下面是在輸入層和第一個隱含層中加入dropout,dropout rate設定為20%,意味著五個輸入中的一個將隨機從每個更新週期中排除。

def create_model():  
    # create model  
    model = Sequential()  
    model.add(Dropout(0.2, input_shape=(60,)))  
    model.add(Dense(60, activation='relu'))  
    model.add(Dense(1, activation='sigmoid'))  
    # Compile model  sgd = SGD(lr=0.1)  
    model.compile(loss='binary_crossentropy', optimizer=sgd, metrics=['accuracy'])  
    return model

(16)使用一個包含3個神經元的隱含層和1個輸出神經元的全連線架構來做二分類任務,下面是輸入和輸出的資料
Input dataset: [ [1,0,1,0] , [1,0,1,1] , [0,1,0,1] ]; Output: [ [1] , [1] , [0] ]
隱含層和輸出層的所有權重都初始化為1,是否能夠學習到給定資料想要的模型?
答案是否定的,神經網路模型的所有權重都相同,所有神經元都將嘗試做同樣的事情,模型永遠不會收斂。
(17)使用batch normalization可以解決以下哪一個神經網路訓練中的問題?
A) 過擬合
B) 防止啟用過高或者過低
C) 網路訓練太慢
D) B和C
E) 以上所有
D:batch normalization在限制啟用的同時間接地提高了訓練時間。
(18)下面哪個在訓練深度學習模型的每個epoch中都有恆定的輸入? A
A) Weight between input and hidden layer
B) Weight between hidden and output layer
C) Biases of all hidden layer neurons
D) Activation function of output layer
E) None of the above
(19)用ReLU代替sigmoid作為啟用函式,能夠解決梯度消散的問題?
答案是肯定的。
(20)CNN,中max-pooling總能起到減少引數的作用?
不一定,當max-pooling層的pooling size設定為1時,引數是不變的。
(21)反向傳播不能應用到池化層中?
答案是否定的。
(22)對於卷積操作,問號裡面的值是?
這裡寫圖片描述
(23)對於一個二分類問題,你會選擇下面哪個架構?
這裡寫圖片描述
這裡寫圖片描述
答案是兩者都可以,可以使用一個神經元作為二分類的輸出也可以使用兩個不同的神經元。
(24)神經網路訓練過程中training loss/validation loss保持恆定不變,可能的原因是?
1:網路結構的定義不規範;
2:給定的資料中存在噪聲。
(25)下面紅色曲線表示在深度學習演算法中相對於每個時期的訓練精度。 綠色和藍色曲線都表示驗證精度。
這裡寫圖片描述
哪條曲線表明了過擬合的發生?
“藍色曲線”:綠色曲線有更好的泛化效能。
(26)下面關於dropout的論述中正確的有?
1:Dropout通過組合許多不同的架構來提供一種可以得到近似的方法。 對
2:Dropout需要高的學習率; 錯
3:Dropout可以防止過擬合; 對
(27)門控迴圈單位可以幫助防止RNN中的消除梯度問題?
答案是“對”的,網路有隱含的記憶來記住過去的行為。
(28)假設使用早期停止機制,patience設定為2,神經網路模型何時停止訓練?
當patience設定為2時,網路在epoch 4後會自動停止訓練。
(29)使用深度學習的情緒分析是一個多對一的預測任務?
答案是“對”的,預測的最終結果要麼是“正”,要麼是“負”。
(30)採取什麼措施可以防止過擬合? ABCD
A、資料擴充;
B、權值共享;
C、提前結束模型迭代;
D、採用dropout;