重要知識點：

1. 激勵函式（activation function）
2. softmax layer

Lecture 1: Introduction of Deep Learning

1. 深度學習的步驟

機器學習的步驟：

Step 1: 定義一個函式集合(define a set of function)

Step 2: 對函式進行優化(goodness of function)

Step 3: 選擇最好的函式(pick the best function)

將影象識別抽象為一個函式，以下舉例說明：

深度學習的步驟：

Step 1: 定義神經網路(Neural Network)

Step 2: 對函式進行優化(goodness of function)

Step 3: 選擇最好的函式(pick the best function)

2. 全連線前饋神經網路（Fully Connect Feedforward Network）

2.1 神經元

2.2. 激勵函式

對於激勵函式的理解：https://blog.csdn.net/hyman_yx/article/details/51789186

2.3 Softmax layer

傳統輸出層：

softmax layer作為輸出層（重點）

2.4 網路結構

備註：激勵函式設定見3圖。

2.5 應用舉例（數字識別）

將圖片劃分為16*16，每一個畫素作為一個輸入的x，X的維度為256*1。

建立模型後，

3. 對函式進行優化(goodness of function)

3.1 學習目標(Learning Target)

3.2 損失(Loss)

4. 選擇最好的函式（How to pick the best function）

4.1 梯度下降(Gradient Descent)

Lecture 1: Keras

Example: Handwriting Digit Recognition

Lecture 2: Tips for Training Deep Neural Network

Variants of Neural Network

Next Wave