網路,神經

  哈佛大學和 MIT 的物理研究者日前在 arXiv.org 發文,提出深度學習的成功不僅關乎數學,也離不開物理。他們在論文中指出,引數有限的神經網路之所以能夠分析有無數種可能的複雜問題,是因為宇宙中所有事物都能由一組性質簡單的函式表示。此外,宇宙具有層次結構,而神經網路中的層能夠將每一步近似為因果序列。因此,現實世界問題非常適於神經網路建模。這一假說如果正確,不僅揭示了深度學習如此有用的原因,還能說明人類大腦為何擅長分析複雜問題,有助於加速人工智慧發展。

  過去幾年,深度學習技術轉變了人工智慧世界。那些一度被視為只有人類才能夠做到的事情,一項一項地被機器斬獲。深度神經網路現在比人類更擅於識別人臉、識別物體,在古老的技藝圍棋上更是把人打得落花流水。

  但有一個問題。為什麼層層堆疊起來的網路能夠解決這麼多的複雜問題,還沒有人講得出數學上的道理。儘管深度神經網路取得了巨大的成功,但是沒有人知道它們是如何做到這一點的。

  不過,哈佛大學的 Henry Lin 和 MIT 的 Max Tegmark 給出了轉機。他們認為數學家之所以狼狽不堪,是因為事情的關鍵在於世界萬物運作的道理——宇宙的本質。換句話說,答案在物理而非數學裡。

  首先,我們假設要將幾兆的灰度影象分類,判斷該影象是一隻貓還是一隻狗。

  這樣一幅圖片含有幾百萬畫素,每一個畫素都有 256 個灰度值。因此,從理論上說,一共有 256^1000000 種可能的影象,每一種都需要計算是否組成了貓或狗。而神經網路只有幾萬或幾百萬的引數,卻不知怎的能夠很輕鬆地完成這項分類的任務。

  用數學的語言講,神經網路的工作方式是用較為簡單的函式逼近複雜的函式。當要分類貓或狗的影象時,神經網路必須實現一個函式,這個函式將一百萬的灰度畫素作為輸入,輸出它可能代表的圖案的概率分佈。

神經,宇宙

  問題是,數學函式的數量相比用於逼近它們的可能的網路的數量,多了好幾個量級。但儘管如此,深度神經網路仍然能夠得到正確答案。

  現在 Lin 和 Tegmark 表示他們已經知道了原因。答案是宇宙由為數不多的一組函式所掌控。換句話說,如果用數學式子表示物理定律,那麼所有事物都能由一組性質簡單的函式所表示。

  舉例來說,多項式函式 f(x)=x2,二次方程 y=x2 指數為 2,而 y=x^24,指數為 24,以此類推。

  很顯然,指數的數量是有限的,物理定律中也只出現了有限的多項式。“目前還不清楚原因,但是我們的宇宙能被低階的漢密爾頓多項式準確地描述。”Lin 和 Tegmark 說。通常而言,物理定律的多項式,指數都在 2 到 4 之間。

  物理定律還有其他的重要性質。舉例來說,與旋轉和位移有關的物理定律通常是對稱的。旋轉一隻貓或一隻狗 360°,這隻貓或狗看起來與原來是一樣的;將一隻貓或狗位移 10 米、100 米或 1000 米,這隻貓或狗跟原來相比,看起來還是一樣的。這一點也為識別貓狗帶來了便利。

  這些性質表明,神經網路不需要逼近幾近無限的數學函式,而只需要逼近其中最簡單的一組就可以了。

  還有一種性質也為神經網路所用。那就是宇宙結構具有層次。“基本粒子形成原子,原子又形成分子、細胞、器官、行星、太陽系、銀河系等等,”Lin 和 Tegmark 表示。此外,複雜結構也往往是由一系列簡單的步驟生成。

  這也是為什麼說神經網路結構具有重要性:這些網路中的層能夠將每一步近似為因果序列。

  Lin 和 Tegmark 以宇宙微波背景輻射為例,近年來,有很多不同的空間飛行器都以很高的解析度描繪了這種輻射,而物理學家也為這些影象為什麼會具有這種形式而感到疑惑不解。

  Lin 和 Tegmark 指出,不管原因為何,無疑宇宙微波背景輻射是一個因果層次的結果。“一套宇宙學引數(比如暗物質的密度)決定了我們宇宙密度波動的功率譜,而這又決定了我們接收到的早期宇宙微波背景輻射的模式,這些模式與來自銀河系的前景無線電波干擾相結合,產生一個能被衛星望遠鏡記錄下來的頻率天圖。”他們說。

  每一個因果層都比上一層含有更多的資訊。雖然宇宙引數是有限的,但是天圖和干擾卻含有幾十億的數字。物理學的目標是分析這些大數字,讓它們揭示出較小一些的數字。

  而當現象具有這種層次結構時,神經網路就能大幅提高分析效率。

  “我們證明了深度廉價學習(deep and cheap learning)不僅依賴於數學,還取決於物理,物理學中一些常見的極為簡單的概率分佈非常適於神經網路建模。”Lin 和 Tegmark 得出這樣的結論。

宇宙,深度

  這是一項十分重要而又十分有趣的研究。人工神經網路受生物神經網路啟發而來,因此Lin 和Tegmark 的假說不僅解釋了深度學習為什麼如此有用,還說明了人類大腦理解宇宙的原因。演化不知怎地形成了一種分析宇宙奧妙理想的人腦結構。

  這一結果為人工智慧研究打開了一扇門。現在,我們終於明白了深度神經網路為何有用,而且數學家也能著手研究是什麼數學性質讓深度神經網路這麼有用。“加深對深度學習分析理解能力的認知,能夠進一步提升深度學習。”Lin 和 Tegmark 表示。

  深度學習近年來取得了飛速發展。有了這一新的理解,該領域的發展速度勢必變得更快。

深度,函式

  編譯來源:

  The Extraordinary Link Between Deep Neural Networks and the Nature of the Universe