第3章 深度學習是個什麼東西
1.深度神經網路說的是一種結構，而不是一種演算法。
2.機器學習是人工智慧的一個分支。
3.機器學習就是通過演算法，使得機器能從大量歷史資料中學習規律，從而對新的樣本做智慧識別或對未來做預測。
4.非監督學習演算法：Apriori演算法和K-Means演算法
5.人工神經網路和深度學習都屬於機器學習的一種，深度學習是神經網路的一個大分支，深度學習的基本結構是深度神經網路。
監督學習和非監督學習是指機器學習的學習方式。
6.人類視覺系統的資訊處理是分級的。
7.高層的特徵是底層特徵的組合，從底層到高層的特徵表示越來越抽象，越來越能表現語義或者意圖。
8.淺層特徵和高階特徵解釋：一棟房子，磚可以理解成淺層特徵，最後形成的房子結構理解成高階特徵。
9.詞，片語，句子之間的關係，句子由片語組成，片語由此片語成。
10.結構性的特徵具有明顯的層級概念，從較小的粒度劃分，再用劃分的基本特徵組成上層特徵。
1.非監督學習被用來訓練各個層。
2.非監督學習在之前學習到的層次之上，一次只學習一個層次，每個層次學習到的結果將作為下一個層次的輸入。
3.可以用監督學習來調整層與層之間的權重。
4.傳統的神經網路一般只有兩層至三層的神經網路，引數和計算單元有限，對複雜函式的表示能力有限，學習能力也有限；
深度學習具有五層十層，甚至更多的神經網路，並且引入了更有效的演算法。深度網路這種分層結構，比較接近人類大腦的結構。
5.梯度消失（梯度擴散）：根源在於非凸目標函式導致求解陷入區域性最優，且這種情況隨著網路層數的增加而增加。
6.自動地學習特徵的方法，統稱為深度學習。深度學習首先利用無監督學習對每一層進行逐層預訓練去學習特徵；每次單獨訓練一層，並將訓練結果作為更高一層的輸入；然後到最上層改用監督學習從上到下進行微調去學習模型。

7.BP演算法的核心是：反向傳播，修正權值。