問題一

正如上面討論的那樣，一種擴充套件 MNIST 訓練資料的方式是用一些小的旋轉。如果我們允許過大的旋轉，則會出現什麼狀況呢？

如果我們允許過大的旋轉，會使得模型不能很好的學習到數字的特徵，甚至學習到錯誤的特徵。

問題二

我們的機器學習演算法在⾮常⼤的資料集上如何進行？對任何給定的演算法，其實去定義一個隨著訓練資料規模變化的漸近的效能是一種很自然的嘗試。一種簡單粗暴的方法就是簡單地進行上⾯圖中的趨勢分析，然後將影象推進到無窮大。而對此想法的反駁是曲線本⾝會給出不同的漸近效能。你能夠找到擬合某些特定類別曲線的理論上的驗證方法嗎？如果可以，比較不同的機器學習演算法的漸近效能。

待解

問題三

驗證 z=∑jwjxj+b 標準差為3/2−−−√。下面兩點可能會有幫助：（a）獨立隨機變數和的方差，是每個獨立隨機變數方差的和；（b）方差是標準差的平方

由獨立隨機變數和的方差，是每個獨立隨機變數方差的和，可得：
z=∑jwjxj+b的方差=(1n−−√)2∗0+...(1n−−√)2∗0+(1n−−√)2∗1+...+(1n−−√)2∗1+1
=1n∗n2+1
=32

方差是標準差的平方，可得：

z=∑jwjxj+b的標準差=3/2−−−√

問題四

L2 規範化有時候會自動給我們一些類似於新的初始化方法的東西。假設我們使用舊的初始化權重的方法。考慮一個啟發式的觀點：（1）假設 λ 不太小，訓練的第一迭代期將會幾乎被權重衰減統治；（2）如果η

λ≪n，權重會按照因⼦ exp(−ηλ/m) 每 迭代期衰減；（3）假設 λ 不太大，權重衰減會在權重降到 1/n√的時候保持住，其中 n 是網路中權重的個數。論證這些條件都已經在本節給出圖示的例子中滿足。

待解