2.5.3按位計算的向量函式及其導數

2.5.4logistic函式

logistic函式經常用來將實體空間對映到（0，1）區間。

2.5.4softmax函式

softmax函式是將多個標量對映成一個概率分佈

3.1.1損失函式

3.1.2機器學習演算法的型別

（1）有監督學習（Supervised Learnings）

有監督學習是利用一組已知輸入x和輸出y的資料來學習模型的引數，使得模型預測的輸出標記和真實標記儘可能一致。根據輸出型別又可以分為迴歸和分類兩類。

迴歸（Regression）如果輸出y是連續值，f（x）的輸出也是連續值。這類問題就是迴歸問題。損失函式通常定義為平方誤差。

分類（Classiflcation）如果輸出y是離散的類別標記（符號），就是分類問題。損失函式有很多定義方式，一種常用的方式是0-1損失函式。

（2）無監督學習（Unsupervised Learning）

無監督學習是用來學習的資料不包含輸出目標，需要學習演算法自動學習到一些有用的資訊，一個典型的無監督學習問題就是聚類（Clustering）。

（3）增強學習（Reinforcement Learning）

增強學習也叫強化學習，強調如何基於環境做出一系列的動作，以取得最大化的收益積累。每做出一個動作，並不一定立刻得到收益。增強學習和有監督學習的不同在於增強學習需要顯式地以輸入/輸出對的方式給訓練樣本，是一種線上的學習機制。

3.1.4引數學習演算法

學習演算法就是如何從訓練集的樣本中，自動學習決策函式的引數。不同機器學習演算法的區別在於決策函式和學習演算法的差異。相同的決策函式可以有不同的學習演算法。比如線性分類器，其引數的學習演算法可以是感知器、支援向量機以及梯度下降演算法等。通過一個學習演算法進行自動學習引數的過程也叫做訓練過程。

批量梯度下降演算法、隨機梯度下降演算法、mimi-batch隨機梯度下降（每次迭代時，只採用一小部分的訓練樣本，兼顧了批量梯度下降和隨機梯度下降的優點）

Early-Stop

在梯度下降訓練的過程中，由於過擬合的原因，在訓練樣本上收斂的引數，並不一定在測試機上最優。因此，我們使用一個驗證集（Validation Dataset）（也叫做Development Dataset）來測試每一次迭代的引數在驗證集上是否最優。如果在驗證集上的錯誤率不再下降，就停止迭代。這種策略叫做Early-stop。如果沒有驗證集，可以在訓練樣本上進行交叉驗證。

學習率設定

在梯度下降演算法中，學習率過大不會收斂，過小收斂速度太慢。一般補償可以由線性搜尋演算法來確定。在機器學習中，經常使用自適應調整學習率的方法。

動量法、AdaGrad演算法、AdaDelta演算法

5.1.1啟用函式

傳統神經網路中最常用的啟用函式是sigmoid型函式。sigmoid型函式是指一類S型曲線函式，常用的sigmoid型函式有logistic函式和tanh函式。

logistic函式、tanh函式、rectifler函式、stopplus函式

第七章 迴圈神經網路

迴圈神經網路（Recurrent Neural Network，RNN），也叫遞迴神經網路。迴圈神經網路通過使用帶自反饋的神經元，能夠處理任意長度的序列。