人工神經網路真的像神經元一樣工作嗎？
作者：Yariv Adan
編譯：weakish
人工神經網路和機器學習已經成為大眾媒體的熱門主題。智慧機器這一想法勾起了很多人的想象，而且人們特別喜歡把它和人類放一起比較。特別是有一個關於人工智慧的底層機制的基礎問題經常出現——這些人工神經網路的工作方式真的和我們大腦中的神經元相似嗎？
Tl;Dr
不。 儘管從高層概念上說，ANN（人工神經網路）受到了大腦中的神經元和神經網路的啟發，但這些概念的ML實現和大腦的工作方式大有徑庭。不僅如此，隨著這些年來ML領域的進展，新的複雜想法和技術的提出（RNN、GAN等）——這一聯絡進一步削弱了。
關鍵相似點
前饋全連線網路的高層架構和一般原則 體現了人工神經網路和大腦中的神經網路的相似性。
從高層看，大腦的神經元由三部分組成：
- 樹突 （輸入機制）—— 通過突觸接受輸入的樹狀結構。輸入可能是來自感覺神經細胞的感覺輸入，也可能是來自其他神經細胞的“計算”輸入。單個細胞可以有多達10萬輸入（每個來自不同的細胞）。
- 胞體 （計算機制）—— 細胞體收集所有樹突的輸入，並基於這些訊號決定是否啟用輸出（脈衝）。這是一個概括性的說法，因為有些計算在傳入胞體前就完成了（在樹突結構中編碼）。
- 軸突 （輸出機制）—— 一旦胞體決定是否啟用輸出訊號（也就是啟用細胞），軸突負責傳輸訊號，通過末端的樹狀結構將訊號以脈衝連線傳遞給下一層神經元的樹突。
類似地，ANN中也有等價的結構：
- 輸入連線 —— 每個神經元接受一組輸入，或者來自輸入層（等價於感覺輸入），或者來自網路中前一層的神經元。
- 線性計算和啟用函式 —— 這些“累加”輸入，接著非線性地決定是否啟用神經元。
- 輸出連線 —— 這些傳遞啟用訊號至網路中下一層的神經元。
類似地， 卷積神經網路 借鑑了視覺通路。很酷的一件事情是，CNN原本主要借鑑的是架構（對應特定形狀或模式的較小的核/過濾器，每次應用於較小的區域）。然而，多年之後，當ML研究人員開發了新的視覺化CNN隱藏層的技術後，人們發現CNN表示影象的方式和視皮層的層次表示十分類似——從表示簡單模式的第一層開始，較深的層複合出複雜形狀和物件。
可塑性 —— 大腦的獨特性質之一，學習和記憶得以成立的關鍵特性。大腦基於經歷建立新的脈衝連線，廢棄舊的脈衝連線，加強或削弱現有的連線。可塑性甚至在單個神經元中起作用——影響它的電磁行為，以及對特定輸入作出迴應觸發啟用的趨向。
可塑性這一想法是訓練ANN的關鍵原則——基於批次輸入迭代修改網路引數（權重）。最近，元學習領域的進展將ANN中可塑性的應用範圍從引數拓展到超引數乃至整個模型。
關鍵區別
大腦神經元的複雜性和魯棒性 要比人工神經元複雜強大得多。這不僅體現在神經元的數量及每個神經元的樹突數量上——比我們現在的ANN高出若干數量級，還體現在單個神經元的內部複雜性上：和人工神經元相比，神經元的化學和電學機制精細得多，也強健得多。例如，神經元不是零電位差的——細胞的不同區域可能具有不同的電位，有不同的電流通過。這讓單個神經元可以進行非線性運算，識別隨著時間發生的變動（例如，移動的目標），或者將不同的區域並行對映至不同的樹突區域——這樣整個細胞就可以完成複雜的複合任務。和非常簡單的人造神經元相比，這些都是高階很多的結構和能力。
實現 —— 大腦中的神經元是以非常複雜和精細的機制實現的，可以進行非常複雜的非線性計算：
- 訊號在神經元突觸間隙中的化學傳播，是通過神經遞質和感受器完成的，並由各種興奮和抑制元素放大。
- 基於複雜的時空電磁波推斷邏輯，興奮/抑制性突觸後電位構建了動作電位。
- 離子通道和微電位差控制脈衝的觸發，細胞體中的脈衝將沿著軸突傳播。
- 大量我們尚未理解的機制……
和這些相比，ANN中使用的引數、權重、線性函式、啟用函式十分簡單粗暴。
在此之上，大腦中的神經元的 整體架構 要比大多數ANN複雜得多，特別是和常見的前饋網路相比（前饋網路的每一層只和前一層、後一層連線）。不過，即使是和多層RNN或者殘差網路相比，大腦中的神經元網路也是不可思議地複雜，在許多方向上有著數萬跨“層”、跨區域的樹突。
另一方面，大腦不太可能使用 反向傳播 這樣的方法——基於誤差函式的偏導數上的鏈式法則。
能源消耗 —— 大腦是一個極端高效的計算機，差不多十瓦左右，約為單個CPU能耗的三分之一。
GAN、RL、RNN等新進展 —— 在ML的理論和應用上，都不斷湧現新的想法和創新。這些都不再基於大腦的工作機制。它們也許受到了大腦的啟發，或者人類行為的啟發，但在許多方面，現在的ML方面的研究和工作過著屬於自己的生活——迎接自身的挑戰，追尋自身的機遇。
大腦是持續的靈感來源
儘管有上面列出的這些不同，ML研究仍然不斷將大腦列為靈感來源，因為大腦比我們現有的計算裝置要強健和高效太多。認識人工神經網路和大腦的差距，以及關於大腦機制的研究，激發了一些最激動人心也最具挑戰性的ML近期研究。例如：
- 能效 —— 如前所述，大腦的神經元和連線數量比我們建立的任何ANN都要大上若干數量級，但它消耗的能量卻要少若干數量級。這是一個很活躍的研究領域，包括基於DNA和其他分子的生物網路，以及試圖模仿神經元和突觸的神經形態（neuromorphic）電子開關。
- 從很小的訓練樣本集學習 —— 最有可能是通過一些內建的模型，這些模型對物理法則、心理學、因果關係和其他決定地球上的決策和行動的規則有一些“直覺上的”理解。和現有的通用白板神經網路相比，這些加速了學習，並能指導預測/行動。
- 釋放無監督學習和強化學習的威力 —— 無監督學習和強化學習是AI的“暗能量”。物理上，暗能量佔據了我們的宇宙的大部分，而我們對其知之甚少。與此類似，很明顯我們的大腦主要通過無監督學習和強化學習的方式進行學習。而當前的大部分ML應用使用監督學習。解開這一謎題是構建能像人類一樣學習的機器的關鍵。
- 新的方法和架構。例如， ofollow,noindex">嗅覺背後的神經系統，可以為新的ML方法提供靈感 ，處理現有方法無法很好應對的一些問題。
最後，這當然不可能是一個全面的答案，明顯還有很多我沒提到的相似性和區別。例如，來自多倫多的Blake Richards做了一個很棒的簡短演講： https:// youtu.be/vGFq6vQ_gR4 從一個新穎獨特的角度陳述了大腦和深度學習在原則上的相似性。事實上，這一問題是我們的時代最激動人心、最複雜、進展最快的兩個研究領域的交匯之處，所以你可以期望在未來我們會了解更多。