包括記憶在內的所有生物神經功能，都存儲在神經元及其之間的連接上。

神經網絡中關於學習的過程是 神經元之間建立新的連接或對已有連接進行修改的過程。

神經網絡的起源：Ｍ-Ｐ模型 是按照生物神經元的結構和工作原理構造出來的一個抽象和簡化了的模型。

同時研究證明了神經網絡可以模擬任何復雜的函數， 雙隱層感知器就足以解決任何復雜的分類問題。

Neural Networks and Deep Learning: A visual proof that neural nets can compute any function

BP反向傳播算法的發明進一步推動了神經網絡的發展。

　　　　　　　　　　　　　　　　　　生物神經元的簡圖

在生物神經網絡中，一些神經結構是與生俱來的，而其他的部分則是在學習過程中形成的。在學習的過程中會產生一些新的連接，一些連接也可能會消失。神經結構在整個生命周期中不斷進行著改變，後期的改變主要是增強或減弱突觸的連接。新記憶的形成是通過改變突觸強度來實現的。

人工神經網絡卻沒有人腦那麽負責，但是他們之間有關鍵的相似之處，首先兩個網絡的構成都是可計算單元的高度互連；其次是處理元之間的連接決定了網絡的功能。

神經網絡設計的目標就是在人工神經網絡中采用合適的連接來解決特定的問題。

《神經網絡設計》讀書筆記第一章