轉自：http://www.infoq.com/cn/news/2015/07/deep-learning-limit?utm_source=tuicool

6月7日到12日，世界頂級的計算機視覺會議CVPR在美國波士頓召開，會議邀請了Facebook人工智慧實驗室主任、NYU資料科學中心創始人、深度學習界的泰斗Yann LeCun做了題為“What's Wrong with Deep Learning?”的主題報告。早在20世紀80年代末，Yann LeCun就作為貝爾實驗室的研究員開發出了卷積網路技術，並使用它大幅度提高了手寫字元的識別能力，目前美國許多手寫支票依然是採用他的方法在進行處理。上世紀末到本世紀初，當神經網路失寵，Yann LeCun是少數幾名一直堅持研究的科學家之一。他於2003年成為紐約大學教授，在2013年底加入Facebook負責新成立的人工智慧實驗室，並一直引領著深度學習的發展。

最近幾年，深度學習在自然影象理解和語音識別等多個領域產生了深遠的影響。2006 年，Geoffrey Hinton 提出了深度學習。受益於大資料的出現和大規模計算能力的提升，深度學習已然成為最活躍的計算機研究領域之一。深度學習的概念源於人工神經網路的研究。在Yann LeCun的報告中，他首先回顧了人工神經網路的發展，也介紹了人工神經網路方法在字元識別、目標物件檢測、語義分割等領域所取得的成功應用，但同時，他更多的指出了深度學習所面臨的諸多的侷限性。

首先，缺乏理論支援。對於深度學習架構，存在一系列的疑問，卷積神經網路為什麼是一個好的架構（事實上其存在梯度散射等缺點），深度學習的結構需要多少隱層，在一個大的卷積網路中到底需要多少有效的引數（很多權重相互之間似乎都存在冗餘），隨機梯度下降方法優化權重得到一個區域性最優值。雖然深度學習在很多實際的應用中取得了突出的效果，但這些問題一直困擾著深度學習的研究人員。深度學習方法常常被視為黑盒，大多數的結論確認都由經驗而非理論來確定。不管是為了構建更好的深度學習系統，還是為了提供更好的解釋，深度學習都還需要更完善的理論支撐。

其次，缺乏推理能力。深度學習技術缺乏表達因果關係的手段，缺乏進行邏輯推理的方法。解決這個問題的一種典型方法是將深度學習與結構化預測相結合。目前幾個帶有結構化預測模組的增強的深度學習系統已經被提出來用於OCR，身體姿態檢測，和語義分割等任務中。總的來說，更多新的思路應該被提出以應用於需要複雜推理的任務中。儘管深度學習和簡單推理已經應用於語音和手寫字識別很長一段時間了，我們仍需要在大的向量上使用新的正規化來代替基於規則的字元表示式操作。最終，那些結合了複雜推理和表示學習的系統將為人工智慧帶來巨大的進步。

第三，缺乏短時記憶能力。人類的大腦有著驚人的記憶功能，我們不僅能夠識別個體案例，更能分析輸入資訊之間的整體邏輯序列。這些資訊序列富含有大量的內容，資訊彼此間有著複雜的時間關聯性。例如在自然語言理解的許多工（例如問答系統）中需要一種方法來臨時儲存分隔的片段，正確解釋視訊中的事件

最後，缺乏執行無監督學習的能力。無監督學習在人類和動物的學習中佔據主導地位，我們通過觀察能夠發現世界的內在結構，而不是被告知每一個客觀事物的名稱。有趣的是，在機器學習領域，神經網路的復興恰恰是在無監督學習取得不斷進度的2000s中期，雖然無監督學習可以幫助特定的深度網路進行“預訓練”，但最終絕大部分能夠應用於實踐的深度學習方法都是使用純粹的有監督學習。這並不能代表非監督學習在深度學習中沒有作用，反而具有非常大的潛力，因為我們擁有的非標記資料比標記資料多得多，只是我們還沒有找到很合適的非監督學習演算法，非監督學習在未來存在巨大的研究空間。毫無疑問，今後計算機視覺的進步有賴於在無監督學習上取得突破，尤其是對於視訊的理解。

深度學習可以讓那些擁有多個處理層的計算模型來學習具有多層次抽象的資料的表示。這些方法在許多方面都帶來了顯著的改善，包括最先進的語音識別、視覺物件識別、物件檢測以及許多其它領域，例如藥物發現和基因組學等。當深度學習在業界掀起一片繁榮景象的時候，Yann LeCun的報告在最恰當的時候為我們指出了深度學習當前所面臨的侷限性，同時也為大量深度學習的從業人員指明瞭未來需要攻克的方向。

值得補充的是，為紀念人工智慧提出60週年，《Nature》雜誌在2015年5月28日專門開闢了一個“人工智慧 + 機器人”專題，發表多篇相關論文，其中包括了Yann LeCun、Yoshua Bengio和Geoffrey Hinton首次合作的綜述性文章 “Deep Learning”。文章介紹了深度學習的基本原理和核心優勢，最後談到深度學習的未來方向：1）無監督學習；2）深度學習在機器視覺和自然語言理解上的突破；3）深度學習與複雜推理的結合。這也正好契合了Yann LeCun在報告中所談到的深度學習所面臨的侷限性。

Yann LeCun在CVPR 2015上關於深度學習侷限性的報告見這裡，你也可以在Hacker News上參與相關的討論。

本文由黃立威、張天雷整理，感謝徐川對本文的審校。