1.2 S 型神經元

問題 1

假設我們把一個感知器網路中的所有權重和偏置乘以一個正的常數,c > 0。證明網路的行為並沒有改變。

證：

σ(cw,cb)=11+e−∑jcwjxj−cb=11+e−cz

當c>0時，假設z是一個很大的正數，e−cz≈0， 而 σ(z)≈1；假設z是一個的負數，e−cz−>+∞ ，而 σ(z)≈0。所以，網路行為並沒有改變。

問題 2

假設我們有上題中相同的設定 —— 一個感知器網路。同樣假設所有輸入被選中。我們不需要實際的輸入值,僅僅需要固定這些輸入。假設對於網路中任何特定感知器的輸入 x,權重和偏置遵循 w · x + b ̸ = 0。現在用 S 型神經元替換所有網路中的感知器,並且把權重和偏置乘以一個正的常量 c > 0。證明在 c → ∞ 的極限情況下,S 型神經元網路的行為和感知器網路的完全一致。當一個感知器的 w · x + b = 0 時又為什麼會不同?

當w∗x+b=0，則z=0,則σ(z)=σ(0)=11+1=0.5。
σ(z)恆等於0.5，因此網路行為不同。
當w∗x+b≠0,c−>+∞，所以 c>0，與題1同理，網路行為並沒有改變。

1.4 一個簡單的分類手寫數字的網路

問題 1

通過在上述的三層神經網路加一個額外的一層就可以實現按位表示數字。額外的一層把原來的輸出層轉化為一個二進位制表示,如下圖所示。為新的輸出層尋找一些合適的權重和偏置。假定原先的 3 層神經網路在第三層得到正確輸出(即原來的輸出層)的啟用值至少是0.99,得到錯誤的輸出的啟用值至多是 0.01。

上述的三層神經網路如下：

按位表示數字的神經網路

如下：

首先，我們設想0～9用四位二進位制如何表示：

十進位制	二進位制
0	0000
1	0001
2	0010
3	0011
4	0100
5	0101
6	0110
7	0111
8	1000
9	1001

一個比較簡化而合理的權重是，就選用二進位制位置上的數值作為權重。假設正確輸出為0，這輸出層是輸入為：
（可以豎著看二進位制的每一位）
第一個神經元輸入 = 0.99∗0+0.01∗0+...+0.01∗1+0.01∗1=0.02
同理運算得到:
第二個神經元輸入 = 0.04
第三個神經元輸入 = 0.04

第三個神經元輸入 = 0.05
所以我們可以把偏置設定為 -0.06

1.5 使用梯度下降演算法進行學習

問題 1

證明上一段落的推斷。提示:可以利用柯西-施瓦茨不等式。

上一段落為：

事實上,甚至有一種觀點認為梯度下降法是求最小值的最優策略。假設我們正在努力去改變∆v 來讓 C 儘可能地減小。這相當於最小化 ∆C ≈ ∇C · ∆v。我們首先限制步⻓為小的固定值,即 ∥∆v∥ = ε,ε > 0。當步⻓固定時,我們要找到使得 C 減小最大的下降方向。可以證明,使得∇C · ∆v 取得最小值的 ∆v 為 ∆v = −η∇C,這裡 η = ε/∥∇C∥ 是由步⻓限制 ∥∆v∥ = ε 所決定的。因此,梯度下降法可以被視為一種在 C 下降最快的方向上做微小變化的方法。

柯西-施瓦茨不等式：

|a||b|>=|ab|

因為||∆v||=ε,由 柯西-施瓦茨不等式得：

∇C·∆v<=||∇C||·||∆v||=ε||∇C||

所以想讓∇C·∆v得到最大值,即等於ε||∇C|| ，則：

∆v=ε∇C||∇C||

同理，想得到∇C·∆v得到最小值，則：

∆v=−ε∇C||∇C||=−η∇C

問題 2

我已經解釋了當 C 是二元及其多元函式的情況。那如果 C 是一個一元函式呢?你能給出梯度下降法在一元函式的幾何解釋麼?

如果 C 是一個一元函式，我們可以幾何想象成是一個C為y軸，v為x軸，上的曲線，我們在曲線上尋找C的最低點。

問題 3

梯度下降演算法一個極端的版本是把小批量資料的大小設為 1。即,假設一個訓練輸入 x,我們按照規則wk→wk′=wk−η∂Cx/∂wk和bl→b′l=bl−η∂Cx/∂bl 更新我們的權重和偏置。然後我們選取另一個訓練輸入,再一次更新權重和偏置。如此重複。這個過程被稱為線上、online、on-line、或者遞增學習。在 online 學習中,神經網路在一個時刻只學習一個訓練輸入(正如人類做的)。對比具有一個小批量輸入大小為 20 的隨機梯度下降,說出遞增學習的一個優點和一個缺點。

優點：一個時刻只學習一個訓練輸入，能讓模型迅速的學習到當前時刻的資料。如根據使用者瀏覽的商品，實時的推薦相關的商品;根據行用卡使用行為資料，實時的預測出欺詐行為。

缺點：對比具有一個小批量輸入大小為 20 的隨機梯度下降，online 學習的實際上的學習率太大，偶然突發性的噪音資料會極大的影響原本的模型。

1.6 實現我們的網路來分類數字

問題 1

以分量形式寫出方程 (22),並驗證它和計算 S 型神經元輸出的規則 (4) 結果相同。

方程 (22):

a′=σ(wa+b)

方程 (4):

相關推薦

《neural network and deep learning》題解——ch01 神經網路

1.2 S 型神經元 問題 1 假設我們把一個感知器網路中的所有權重和偏置乘以一個正的常數,c > 0。證明網路的行為並沒有改變。 證： σ(cw,cb)=11+e−∑jcwjxj−cb=11+e−cz 當c>0時，

Note——Neural Network and Deep Learning （1）[神經網路與深度學習學習筆記（1）]

一、初學神經網路的體會 正如書中作者說的神經網路可以被稱作最美的程式設計正規化之一，神經網路將我們需要解決的複雜問題，比如手寫字型分類，簡化成一個個簡單的步驟，而本人無需瞭解內部的具體結構引數變化等。關於神經網路已經有很多實用的庫，使用這些庫可以很快的解決問題。但是不滿

《neural network and deep learning》題解——ch03 過度擬合&規範化&權重初始化

問題一 正如上面討論的那樣，一種擴充套件 MNIST 訓練資料的方式是用一些小的旋轉。如果我們允許過大的旋轉，則會出現什麼狀況呢？ 如果我們允許過大的旋轉，會使得模型不能很好的學習到數字的特

《neural network and deep learning》題解——ch03 再看手寫識別問題題解與原始碼分析

交叉熵代價函式 class QuadraticCost(object): @staticmethod def fn(a, y): return 0.5 * np.linalg.norm(a - y) ** 2 @s

neural network and deep learning筆記（1）

.cn arc AD puts ont release 深入 rem hang neural network and deep learning 這本書看了陸陸續續看

課程一(Neural Networks and Deep Learning)，第二週（Basics of Neural Network programming）—— 1、10個測驗題（Neural N

              --------------------------------------------------中文翻譯-------

神經⽹絡與深度學習 Neural Networks and Deep Learning

26 Theano-based large-scale visual recognition with multiple GPUs, by Weiguang Ding, Ruoyan Wang, Fei Mao, andGraham Taylor (2014). 27 Going deeper with

Neural Networks and Deep Learning 神經網路和深度學習

在http://neuralnetworksanddeeplearning.com/看到這篇文章。寫的簡單易懂。適合初學者學習，不過是英文的。 自己嘗試著一邊翻譯一邊學習。 第一章 使用神經網路識別手寫數字 人眼是世界上最奇妙的東西之一。有如下一串手寫數字： 大部

Neural Networks and Deep Learning學習筆記ch1 - 神經網絡

1.4 true ole 輸出 使用 .org ptr easy isp 近期開始看一些深度學習的資料。想學習一下深度學習的基礎知識。找到了一個比較好的tutorial，Neural Networks and Deep Learning，認真看完了之後覺

課程一(Neural Networks and Deep Learning)總結：Logistic Regression

pdf idt note hub blog bsp http learn gre -------------------------------------------------------------------------

第四節，Neural Networks and Deep Learning 一書小節(上)

rain 集合 最大值 劃分 import {0} mar result bsp 最近花了半個多月把Mchiael Nielsen所寫的Neural Networks and Deep Learning這本書看了一遍，受益匪淺。 該書英文原版地址地址：http://neur

【DeepLearning學習筆記】Coursera課程《Neural Networks and Deep Learning》——Week1 Introduction to deep learning課堂筆記

決定 如同 樣本 理解 你是 水平 包含 rod spa Coursera課程《Neural Networks and Deep Learning》 deeplearning.ai Week1 Introduction to deep learning What is a

【DeepLearning學習筆記】Coursera課程《Neural Networks and Deep Learning》——Week2 Neural Networks Basics課堂筆記

樣本數目 and 編程 多次 之間 優化 我們 round 符號 Coursera課程《Neural Networks and Deep Learning》 deeplearning.ai Week2 Neural Networks Basics 2.1 Logistic

課程一(Neural Networks and Deep Learning)，第一週（Introduction to Deep Learning）—— 0、學習目標

1. Understand the major trends driving the rise of deep learning. 2. Be able to explain how deep learning is applied to supervised learning. 3. Unde

Neural Networks and Deep Learning

too near poi sel ace data- big Dimension important Neural Networks and Deep Learning This is the first course of the deep learning specia

課程一(Neural Networks and Deep Learning)，第一週（Introduction to Deep Learning）—— 2、10個測驗題

1、What does the analogy “AI is the new electricity” refer to?  (B) A. Through the “smart grid”, AI is delivering a new wave of electricity.

sp1.1-1.2 Neural Networks and Deep Learning

    Relu這影象也叫線性流動函式 不再用sigmoid函式當啟用函式     相當於max(0,x)函式 比較0和當前值哪個大   可以把隱藏層看作 前面整合

sp1.3-1.4 Neural Networks and Deep Learning

交叉熵定義了兩個概率分佈之間的距離，因為是概率分佈 所以又引入softmax變為概率的形式 相加還是1 3 shallow neural network   神經網路輸入層不算     上

Neural networks and deep learning 概覽

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

如何免費學習coursera上吳恩達的Neural Networks and Deep Learning課程

首先，在註冊時不要選擇免費試用，而是要選擇旁聽。 進入旁聽之後，中間的部分課程是無法做的，這時候，需要用anaconda的jupyter notebook功能來進行作業。具體方法如下： 安裝後開啟進入到一個資料夾目錄，找到這個目錄在你的資料夾的具體位置。並將作業檔案複