之前看了一些吳恩達的視訊和大話機器學習的一部分東西。選擇記錄的這本書頁數比較少，但是可以作為一個不錯的總結記錄。

權重，w1, w2, . . .，表⽰相應輸⼊對於輸出重要性的實數。神經元的輸出，0 或者 1，則由分配權重後的總和 ∑j wjxj ⼩於或者⼤於⼀些閾值決定。和權重⼀樣，閾值是⼀個實數，⼀個神經元的引數。

b 偏置

sigmoid  S型神經元

輸入層，輸出層，隱藏層

是以上⼀層的輸出作為下⼀層的輸⼊。這種⽹絡被稱為前饋神經⽹絡。這意味著⽹絡中是沒有迴路的——資訊總是向前傳播，從不反向回饋。

代價函式

學習效率

梯度下降法

有種叫做隨機梯度下降的演算法能夠加速學習。其思想就是通過隨機選取⼩量訓練輸⼊樣本來計算 ∇Cx，進⽽估算梯度 ∇C。通過計算少量樣本的平均值我們可以快速得到⼀個對於實際梯度 ∇C 的很好的估算，這有助於加速梯度下降，進⽽加速學習過程。

反向傳播的演算法，⼀種快速計算代價函式的梯度的⽅法

為了獲得這些準確性，我不得不對訓練的迭代期數量，⼩批量資料⼤⼩和學習速率 η做特別的選擇。正如我上⾯所提到的，這些在我們的神經⽹絡中被稱為超引數，以區別於通過我們的學習演算法所學到的引數（權重和偏置）。