深度學習：智能時代的核心驅動力量（人工智能大牛作者，文科生都能讀懂的人工智能）

作者是深度學習領域的領軍人物，本書可以算是作者寫的人工智能簡史，涉及到作者參與的一些項目，作者跟許多業內知名科學家都有學術交往。

書中涉及到一些人工智能算法的基本原理，沒學過高數、沒有編程基礎的讀者恐怕是比較難看懂的。不過看不懂可以跳過去，至少一些學術發展的故事還是挺有意思的。

總體評價4.5星，非常好。

以下是書中一些內容的摘抄：

1：關於如何構建人工智能，當時存在兩種不同的觀點：一種觀點主張基於邏輯和計算機程序，曾主宰人工智能的研究和應用數十年；另一種觀點則主張直接從數據中學習，經歷了更長時間的摸索才逐漸成熟。P5

2：公路上罕見的駕駛事件經常會導致事故。自動駕駛汽車的不同之處就在於，當一輛汽車遇到罕見事件時，相應的學習體驗會被傳遞給所有其他自動駕駛汽車，這是一種集體智能。P8

3：盡管物體的位置、大小、方向和受到的光照不同，我們卻很少在識別物體時感到吃力。計算機視覺研究中最早的想法之一是將物體的模板與圖像中的像素進行匹配，但是這種方法收效甚微，因為同一物體不同角度的兩個圖像中的像素並不匹配。P36

4：20世紀60年代，沒有人能想到我們要花上50年，計算機的運算能力需要提升100萬倍，才能讓計算機視覺達到人類的水平。當時有一種帶有誤導性的直覺，認為編寫計算機視覺程序很容易。P38

5：我開始即興發揮，“食物上這只蒼蠅的大腦只有10萬個神經元；它大概重1毫克，要消耗1毫瓦的能量，”我邊說邊驅趕蒼蠅，“蒼蠅能看，能飛，可以自己確定飛行方向，還能覓食。但最不可思議的是，它可以通過繁殖來進行自我復制。P42

6：最後，第三排的一名學生這樣回答：“數字計算機是一種通用設備，它可以被編程來計算任何東西，雖然效率很低，但蒼蠅是一種專用計算機，可以看和飛，但無法平衡我的賬戶收支。”這就是正確答案。P42

7：任何人工智能的難題都可以被解決。唯一能證明這一論斷成立的是這樣一個事實：自然界通過進化已經解決了這些難題。但在20世紀50年代就已經存在各種暗示，如果AI研究者能夠選擇完全不同於符號處理的方式，計算機會如何表現出智能行為。P46

8：令人驚訝的是，人中（即鼻子和嘴唇之間的部分）是最顯著的特征，大多數男性人中的面積更大。眼睛周圍的區域（男性較大）和上頰（女性較大）對於性別分類也有著很高的信息價值。感知器會權衡來自所有這些位置的證據來做出決定，我們也是這樣來做判定的，盡管我們可能無法描述出到底是怎麽做到的。P55

9：壓倒感知器的最後一根稻草是馬文·明斯基和西摩爾·帕普特在1969年發表的數學專著《感知器》（Perceptrons）。他們明確的幾何分析表明，感知器的能力是有限的：它們只能區分線性可分的類別。P57

10：這次經歷告訴我，復雜性可能不是通向理解大腦功能的坦途。為了理解大腦，我必須了解，大自然如何通過進化早早就解決了大量的問題，並將這些解決方案自下而上地傳遞給進化鏈上的物種。我們大腦中的離子通道在幾十億年前的細菌體內就存在了。P71

11：神經元負責處理攜帶信息的信號，而計算則是試圖理解大自然這一過程中缺失的環節。我在過去的40年中一直在追求這一目標，並開創了一個新的領域，叫作“計算神經科學”。P73

12：還有另外一種關於記憶持久性的可能解釋：它們也許就像我們身體上的傷疤，已經成為我們生活中過往事件的標記。這些標記並非位於不斷發生轉變的神經元內部，而是位於外部神經元之間的空隙中，那裏的細胞外基質由類似疤痕組織中膠原蛋白的蛋白聚糖構成，這種基質是一種可以維持多年的堅韌的材料。P83

13：傑羅姆幾乎沒說錯過什麽話，他曾經指出，人工智能中使用的算法在運行了數十億個步驟之後，卻常常得不到一個正確的結論，而大腦只需要經歷大約100個步驟，通常就會得出一個正確的結論。P109

14：柯克帕特裏克使用了一種叫作“模擬退火”（simulated annealing）的算法來解決局部最小值問題。假設你想把一堆電子元件裝到兩塊電路板上，怎麽放置這些元件可以使連接元件的接線數量最少呢？P115

15：盡管神經網絡在物理學和工程學中的興起十分迅速，但傳統的認知科學家卻遲遲不能接受它作為理解記憶和語言處理的形式體系。除了拉荷亞的並行分布處理（PDP）研究組和一些獨立的研究者，符號處理仍然是業界的主流方法。P127

16：雖然按照今天的標準來看，這一成果微不足道，但我們的網絡很好地證明了反向傳播網絡如何能夠有效地表征英語音韻。這是我們得到的第一個暗示，即神經網絡學習語言（符號表征的典型代表）的方式和人類的學習方式相同。P137

17：1986年，我帶著話語網絡參加了《今日秀》（Today show）節目，那一期的收視率很驚人。在此之前，神經網絡一直是一門神秘的學科。我還遇到過很多人，他們在觀看這個節目時是第一次聽到神經網絡這個概念。P138

18：楊立昆在2003年去了紐約大學後，仍繼續開發他的視覺網絡，現在被稱為卷積網絡（ConvNet）。這個網絡的基本結構是基於卷積的，卷積可以被想象成一個小的滑動濾波器，在滑過整張圖像的過程中創建一個特征層。P157

19：生成網絡試圖增加判別網絡的錯誤率，而判別網絡則試圖降低自身的錯誤率。由這兩個目標之間的緊張關系產生的圖像，擁有令人難以置信的照片級的真實感。P165

20：這項技術正在迅速發展，其下一個前沿領域是生成逼真的電影。通過訓練一個反復演繹的生成式對抗網絡，與類似瑪麗蓮·夢露這樣的演員參演的電影進行對比，應該有可能創造出已過世的演員出演的新作品。P165

21：現在想象一下經過訓練的新一代對抗網絡，它們可以生產新款式和高級時裝，式樣幾乎無窮無盡。時尚界可能正處於一個新時代的邊緣，而許多其他依賴創意的行業也面臨著相同的處境。P168

22：盡管深度學習網絡的能力已經在許多應用中得到了證明，但如果單靠自身，它們在現實世界中永遠都無法存活下來。它們受到了研究者的青睞，後者為其提供數據，調整超參數，例如學習速度、層數和每層中的單元數量，以改善收斂效果，還為其提供了大量計算資源。P170

23：2016年，加州大學聖叠戈分校的物理學家馬西莫·維加索拉（Massimo Vergassola）和我都在思考，是否可以利用時間差分學習，讓滑翔機在高空翺翔幾小時，而且像許多鳥類那樣不用消耗太多能量。P185

24：利用所有這些數據，Facebook可以創建我們的心智理論，並用它來預測我們的偏好和政治傾向，甚至有一天可能會比我們更了解我們自己。Facebook有朝一日會成為奧威爾小說中老大哥的化身嗎？P198

25：在印度，超過10億的公民可以通過指紋、虹膜掃描、照片和12位身份號碼（比社會安全號碼多3位數字）信息進行唯一的身份識別。印度的Aadhaar是世界上最大的生物特征識別項目。P209

26：有時我演講的開場白便是，大腦是已知宇宙中最復雜的設備。但我的妻子比阿特麗斯是一位醫生，她經常提醒我說，大腦只是身體的一部分，而身體比大腦更復雜，盡管身體的復雜性（從運動性演變而來）是不同的。P211

27：現在，深度學習網絡擁有數百萬個單元和數十億個權重。這比人類大腦皮層中的神經元和突觸的數量還要少1萬倍——人類1立方毫米的皮層組織就包含了10億個突觸。如果世界上的所有傳感器都連接到互聯網，並通過深度學習網絡相互連接，那麽有一天，互聯網可能會醒來並主動說出：“Hello，world!”（你好，世界！）P236

28：喬姆斯基的立場是基於想象力的匱乏，但從邏輯來說符合了奧格爾的第二定律：進化比你聰明，而這個“你”也包括像喬姆斯基這樣的專家。事實上，當一位專家告訴你自然界的某些事情是不可能的時候，你應該保持謹慎——不管這個論證有多麽合理或者令人信服。P301

29：我在麻省理工學院的一次演講中，開門見山地說道：“語言太重要了，不能只留給語言學家去研究。”[13]我的意思是，我們不應該只停留在行為層面描述語言。我們應該理解語言背後的生物學原理和潛在的生物學機制，以及智人的語言能力是如何演變的。P302

30：AI@50的最後一天舉行了宴會。在晚餐結束時，1956年達特茅斯人工智能夏季研究項目的5名回歸成員簡要介紹了會議和人工智能的未來。在問答期間，我站起來，轉向明斯基說道：“神經網絡社區有一種看法：你是上世紀70年代需要為神經網絡蕭條負責的魔鬼。你是魔鬼嗎？”P309

31：我們可能會發現細胞和大腦中使進化成為可能的操作系統。如果我們能解決這些問題，就可能會有想象不到的收獲。自然可能比我們每一個人都更聰明，但作為一個物種，我並不認為人類無法解決智能難題。P320

全文完

2018左其盛好書榜，沒見過更好的榜單

2018左其盛差評榜，罕見的差書榜

2018讀過評過的400多本書

本號810篇書評的索引與書單

想跟小編討論請移步知識星球

4.5星｜《深度學習》：一線領軍人物寫的人工智能簡史