深度學習-20:神經科學、腦科學和稀疏特性
深度學習-20:神經科學、腦科學和稀疏特性
深度學習原理與實踐(開源圖書)-總目錄，建議收藏，告別碎片閱讀！
第二次世界大戰之後，美蘇在全維度展開了霸權競賽，人工智慧研究伴隨著計算機的發展也開始進入佳境。經過經過半個多世紀的發展，人工智慧逐漸形成:符號學派、貝葉斯學派和聯結學派三個流派。
- 符號學派:以謂詞邏輯表示法理論為基礎的符號主義佔據了絕對的主流，但是到了上世紀90年代，符號主義具有的先天缺陷開始暴露出來(沒有自我學習能力)。
- 貝葉斯學派: 貝葉斯學派致力於尋找邏輯和概率的關係，利用概率分佈進行有效推理。馬爾科夫鏈和貝葉斯網路是他們的主要理論武器。貝葉斯學派在語言識別等子領域表現還是非常出色的。參考Sari和Google語音搜尋利用隱馬爾可夫鏈的論文。
- 聯結學派:試圖仿效人腦的結構和工作方式，以期獲得相同或相似人腦的功能。借鑑神經科學，連線主義學派創立了神經網路。神經網路無論從原理還是工程實踐來看，和人腦還無法相比擬。和符號主義採用數學方法不同，以神經網路為代表的連線主義採用了仿生學原理，利用硬體或者軟體模擬出神經網路的連線機制，相對比符號主義，這種方式更加符合生物學事實。神經科學是神經網路的理論支撐，失去神經科學，神經網路也只能實現聚類和分類的角色，和完美的智慧就無緣了。聯結學派藉助深度學習和計算能力的突破，目前在各類人工智慧競賽中大放異彩。
AI的終極目標是實現類人腦智慧，神經科學是研究類人腦智慧的鑰匙。探索智慧、意識的人腦機理，認識人的行為和情感，創新腦疾病診斷與治療，是二十一世紀科學的前沿領域。腦科學和神經科學的發展極大的推動了神經網路計算的發展。當前新一代資訊科技產業很關注對於大腦功能和神經網路的研究，希望機器具有更好的智慧而不是野蠻的儲存和計算能力，希望機器具有類人腦的工作方式而不是簡單的資料匯流排結構。
1 計算神經科學的背景
從神經科學發展處第一代感知機，再到卷積神經網路，再到深度學習，深度學習成為類腦人工智慧的最佳實踐。深度學習的理論來源於神經科學家對大腦視覺系統的研究，人類的大腦的視覺系統是分層的，低層級神經元識別基礎模式，中級神經元識別高階模式，高階神經元識別抽象模式。人們對視覺注意力、抉擇、學習等認知功能的大腦神經網路機制的研究方興未艾。發展腦科學基礎研究，將促進“深度學習” 等類腦智慧技術的蓬勃發展。
大腦是自然界造物主的終極傑作，近年以類腦計算、人工智慧和腦機介面為突破口，為人類認識大腦開創了新紀元。計算神經科學也是腦科學與人工智慧兩個領域之間的必要橋樑，這些領域的互動和協同創新將極大推動未來的資訊科技、腦科技以及下一代超級計算機的發展。
人類的大腦是個未知的黑箱，目前還沒有形成系統的理論解釋人腦的運作機制，我們對大腦的認識還遠遠低於我們對宇宙和地球的認識。目前類人腦研究百花齊放，各種跨學科的理論和模型都被應用於人腦機制的研究上。目前神經科學研究和資訊科學結合尤為緊密，出現了類腦計算、人工智慧和腦機介面等巨大進展。人腦的未知黑箱，就像具有包含巨大數量的未知變數的黑箱，需要新穎和複合的思路才可能找到鑰匙。我們需要利用物理學、數學的方法研究上千億神經元組成的複雜結構及其非線性動態行為；需要用理論和數學模型從基因、到神經元、到神經網路、到腦系統的多個層次來研究，以解釋認知功能；需要用新的資訊科學的工具分析和解讀實驗中獲得的海量資料；需要用生物醫學工程的技術來製造腦機介面，使脊髓損傷和運動殘疾的病人能夠用腦電訊號控制智慧假肢。
2 生物神經網路基礎
聯結學派的人工智慧，理論和模型借鑑於生物神經網路。生物神經網路的重要研究進展都會展現在聯結學派的理論模型中。聯結學派的人工智慧主要借鑑了生物神經網路的神經元理論，視覺皮層分層理論和稀疏理論等。
2.1 分層理論
1959年，Hubel和Wiese教授對貓的大腦紋理皮層進行了研究，並提出一種基於視覺皮層的分層結構模型,隨後分層模型被廣泛用於分類和識別任務; 在1999年，M．Riesenhuber和Tomaso Poggio提出了一種基於視覺感知機理的視覺特徵計算的標準量化模型，為這一領域的研究注入了新的靈感。神經科學家Tomaso Poggio發現了視覺皮質是層級體系的工作原理，被劃為為V1、V2、MT和V5區域，V1識別物體的基本線條和初始形狀；V2識別物體的輪廓，殘差和定位等；更好層級識別物體的抽象概念；層級體系中，資訊雙向流動，訊號包含刺激訊號和抑制訊號。受生物視覺皮層分層模型的啟發，各類基於卷積和分層的分類和識別器先後湧現，應用範圍包括:手寫識別、生物身份認證、DNA序列分析、化學氣味識別、藥物分子識別、影象理解、 人臉識別、表情識別、手勢識別、語音識別、資訊檢索、資料探勘、訊號處理等領域。
1 人眼視覺皮層
光線落在視網膜上後，被感光細胞接受，產生超極化響應，將光訊號轉化為電訊號。然後通過圖2的視覺傳導通路傳遞到腦皮層的視區，形成視覺。Hubel和Wiesel從1962年開始研究人眼視覺皮層，1981年獲得諾貝爾醫學和生理學獎。強烈的方位選擇性是絕大多數視皮層細胞的共性。人眼視覺對影象資訊的選擇性(刺激訊號和抑制訊號)機理，對深度學習有非常大的啟發。
與人眼視覺有關的大腦皮層多達35個，自皮層表面到白質分成6層，外膝狀體核處理後的視覺資訊首先傳到皮層17區，I區或紋狀體區。外膝狀體細胞軸突末梢終止於第4層內，然而再與2，3層細胞，第5，6層細胞建立突觸聯絡。V1：紋狀皮層(17區), V2第2視區, MST, 內側上顳區, MT, 中央顳區。細胞型別有星形細胞(stellate cell)和錐體細胞(pyramidal cell)。
視皮層17區和18區的細胞可分為簡單細胞(simple cells)和複雜細胞(complex cells)兩大類。簡單細胞主要分佈在視皮層17區的第4層內，感受野較小，呈狹長形，用小光點可以測定，對大面積的彌散光無反應，而對處於拮抗區邊緣一定方位和一定寬度的條形刺激有強烈的反應，因此比較適合於檢測具有明暗對比的直邊，對邊緣的位置和方位有嚴格的選擇性，對每一個簡單細胞，都有一個最有方位，在此方位上細胞反應最強烈。
複雜細胞同樣處在要求刺激具有特定的方位，但對其在感受野中的位置無嚴格要求。多分佈在皮層17區（佔大部分細胞）和18區，在19區很少看到。形態學上可能是第3和第5層中的錐體細胞。超複雜細胞對條形刺激的反應類似複雜細胞，不同之處是超複雜細胞感受野的一端或兩端有很強的抑制區，因此要求條形刺激有一定長度，過長時就產生抑制，反應減少或消失。
2.2 稀疏理論
我們使用眼睛觀察周圍環境，在某些情景中我們相當投入，比如和心愛的人在星巴克聊天喝咖啡，即使我們呼叫所有的腦細胞去記住每幀精美的畫面，最後落入我們記憶中的卻是關於我們視覺區興趣點的輪廓和提示。我們大腦如何儲存我們如此著迷的精美視訊切片呢？加州大學伯克利分校的分子細胞生物學教授弗蘭克.韋伯林(Frank S.Werblin)的研究表明：視覺神經攜帶10-12個輸出通道，每個僅攜帶少量關於給定畫面的資訊，其中一組名為神經節細胞的只傳送關於相反的邊緣對比變化的資訊；另一組只探測畫面的均勻顏色；第三組只能檢測焦點影象之後的背景資訊。
Frank S.Werblin認為“儘管我們認為自己看透了世界，但是我們接收到的卻只是提示，是空間和時間的邊緣，這12副影象組成了我們對外界所知的所有資訊，藉助這12副影象，我們重構了豐富的視覺世界，我們非常好奇，大自然如何選擇這12幅簡單的影像以及他們如何做到為我們提供所需要的全部資訊”。
這種資料簡化就是人工智慧領域的“稀疏編碼”(Sparse Coding)。我們發現建立一個人工系統時發現，拋棄大多數輸入資訊，僅保留最顯著的細節，卻頗有成效。然後大腦皮質的加工資訊的能力卻被我們選擇性忽略了。
影象稀疏特性的擴充套件思考:
- 擴充套件思考A: LeNet神經網路，底層模型表現出來的影象訊號的稀疏性。
- 擴充套件思考B: H264編碼中，底層模型表現出來的影象訊號的稀疏性。
3 數學基礎
人工智慧綜合利用交叉學科研究類人腦問題。數學是人工智慧必不可少"瑞士軍刀", 其中關係緊密的幾個數學理論是:概率論、資訊理論、矩陣理論和數值計算理論。
系列文章
參考文獻
- [1] Ian Goodfellow, Yoshua Bengio. Deep Learning. MIT Press. 2016.
- [2] 焦李成等. 深度學習、優化與識別. 清華大學出版社. 2017.
- [3] 佩德羅·多明戈斯. 終極演算法-機器學習和人工智慧如何重塑世界. 中信出版社. 2018.
- [4] 雷.庫茲韋爾. 人工智慧的未來-揭示人類思維的奧祕. 浙江人民出版社. 2016.