Hinton Neural Networks課程筆記1b：神經網路模擬的大腦機理
課程主要講的是神經網路，而其初始的時候是模擬的人類大腦內部的機理。所以這部分介紹一些大腦內部的機理，主要是其被神經網路模擬的部分，以及其具有的優點。
1. 為什麼研究神經科學
- 研究大腦機理。大腦龐大複雜而且脆弱，所以需要計算機模擬。
- 理解基於神經和其適應性連線的平行計算。這種平行計算和傳統的連續計算不同，應該具有和大腦相似的特性（比如適合完成認知類似的任務，但不擅長算術等）。
- 模擬其結構來設計演算法，解決實際問題。（後續證明，即便演算法和大腦結構不完全一樣，也可以達到一定的效果）
2. 大腦內部結構
2.1. 神經元
和高中生物課本講的一樣，分為三個部分，分別是接受區（dendritic tree）、核心區（cell body）和發射區（axon，軸突）。axon發射刺激（spike）出去，與dendritic tree通過突觸（synapses）間接接觸，從而使得spike被下一個神經元通過dendritic tree接收。神經元接收到足夠多的spike之後，就會通過axon hillock產生spike，再通過axon傳播。
2.2. 突觸
spike通過axon傳到突觸之後就會釋放化學物質，而這種化學物質有很多種（正向的、負向的…）。這種化學物質在突觸中擴散，然後和下一個神經元細胞膜上的接收分子結合，從而改變其形狀，從而在細胞膜上開了個讓特殊離子進出的洞。
突觸具有一個非常重要的特性：適應性。即突觸的效率會隨釋放的化學物質的數量以及接收分子的數量變化。
儘管突觸比記憶體慢，但其耗電低，而且小。突觸還可以根據區域性訊號做出適應性改變。
2.3. 大腦
每個神經元從其他神經元接收輸入（也有部分細胞可以自己連線自己），神經元之間通過spike互動。輸入的效果被突觸所控制，可以是正向也可以是負向的。
突觸的權重是適應性的，隨學習改變，從而使得整個網路學習到有用的計算（如識別、學習語言、做計劃和控制身體）。
因為人類大概有
2.4. 大腦的模組化
大腦是模組化的，即不同區域負責不同的事情。區域性損壞只會影響某些功能，而且在進行某項任務的時候，相應區域的血流增強。
但是神經元群大部分是一樣的，也就是說其實神經元群是universal（可以學習大部分函式）的，這也被大腦的重定位實驗所證實。即把大腦的視覺部分損壞之後，連線視覺部分的輸入訊號到語音區，語音區會逐漸的學習到視覺的功能，並且擁有和視覺區類似的結構。
所以cortex是可以隨學習改變的，可以用於普適性的任務，並且會隨著經驗而改變形狀。這就使得該結構既可以快速的並行運算，又擁有足夠的靈活性。（Hinton還把其與FPGA比擬，FPGA也是為了普適性平行計算設計的結構，其具體功能隨任務變化）
3. 個人總結
神經網路和大腦內部的神經元群和相似，所以應該具有一些類似的特性。從而證明了神經網路理應具有一些特點：
1. 和大腦的功能相似，即適合做認知方面的任務，而不適合計算類任務。
2. 具有很好的並行性，高頻寬，普適性和適應性。
3. 網路本身功能普適，根據經驗（/資料集）學習，從而改變突觸權重，從而最後具備某種特殊功能。