1. 程式人生 > >獨家連載 | 深度學習“四大天王”,你知道幾個?

獨家連載 | 深度學習“四大天王”,你知道幾個?

前言:大家好,我是覃秉豐,又在週二和大家見面了。繼我們上週介紹的①機器學習;②人工智慧,機器學習,神經網路以及深度學習之間的關係;③深度學習應用;④神經網路發展史這四小節內容後,今天我們要介紹的是深度學習領域的幾個重要人物,你可以稱他們為深度學習界的“四大天王”。

1.5深度學習領域重要人物

深度學習領域有很多做出過卓越貢獻的大師,下面簡單介紹幾位。

Geoffrey Hinton:

英國出生的計算機學家和心理學家,以其在神經網路方面的貢獻聞名。Hinton是反向傳播演算法和對比散度演算法的發明人之一,也是深度學習的積極推動者。目前擔任多倫多大學計算機科學系教授。

2013年3月加入Google,領導Google Brain專案。

Hinton被人們稱為“深度學習教父”,可以說是目前對深度學習領域影響最大的人。而且如今在深度學習領域活躍的大師,有很多都是他的弟子,可以說是桃李滿天下。圖1.25為Geoffrey Hinton。

圖1.25 Geoffrey Hinton.png

Yann LeCun

法國出生的電腦科學家,他最著名的工作是光學字元識別和計算機視覺上使用卷積神經網路(CNN),他也被稱為卷積網路之父。

曾在多倫多大學跟隨Geoffrey Hinton做博士後。1988年加入貝爾實驗室,在貝爾實驗室工作期間開發了一套能夠識別手寫數字的卷積神經網路系統,並把它命名為LeNet。這個系統能自動識別銀行支票。

2003年去了紐約大學擔任教授,現在是紐約大學終身教授。

2013年12月加入了Facebook,成為Facebook人工智慧實驗室的第一任主任。圖1.26為Yann LeCun。

圖1.26 Yann LeCun

Yoshua Bengio:

畢業於麥吉爾大學,在MIT和貝爾實驗室做過博士後研究員,自1993年之後就在蒙特利爾大學任教。在預訓練問題,自動編碼器降噪等領域做出重大貢獻。

Hinton、LeCun和Bengio被人們稱為“深度學習三巨頭”。這“三巨頭”中的前兩人早已投身工業界,而Bengio仍留在學術界教書,他曾說過:“我留在學術圈為全人類作貢獻,而不是為某一公司賺錢”。

2017年初Bengio選擇加入微軟成為戰略顧問。他表示不希望有一家或者兩家公司(他指的顯然是Google和Facebook)成為人工智慧變革中的唯一大玩家,這對研究社群沒有好處,對人類也沒有好處。圖1.27為Yoshua Bengio。

圖1.27 Yoshua Bengio

Andrew Ng(吳恩達):

吳恩達是美籍華人,曾經是斯坦福大學計算機科學系和電氣工程系的副教授,斯坦福人工智慧實驗室主任。他還與Daphne Koller一起建立了線上教育平臺Coursera。

2011年,吳恩達在Google建立了Google Brain專案,通過分散式叢集計算機開發超大規模的人工神經網路。

2014年5月,吳恩達加入百度,負責百度大腦計劃,並擔任百度公司首席科學家。

2017年3月,吳恩達從百度離職。圖1.28為吳恩達。

圖1.28 吳恩達

LeCun是Hinton的博士生,另一位人工智慧大師Jordan曾經申請過Hinton的博士生,Bengio是Jordan的博士後,Andrew Ng是Jordan的博士生,LeCun與Bengio曾經是同事。這幾位大師互相之間有著很深的淵源。圖1.29為人物關係圖,圖1.30為LeCun、Hinton、Bengio和Andrew Ng的合照。

圖1.29 人物關係圖

圖1.30 從左往右分別是:LeCun,Hinton,Bengio,Andrew Ng

1.6新一輪人工智慧爆發的三要素

這一輪人工智慧大爆發的主要原因有3個,深度學習演算法,大資料,以及高效能運算。

深度學習演算法—— 之前人工智慧領域的實際應用主要是使用傳統的機器學習演算法,雖然這些傳統的機器學習演算法在很多領域都取得了不錯的效果,不過仍然有非常大的提升空間。深度學習出現後,計算機視覺,自然語言處理,語音識別等領域都取得了非常大的進步。

大資料 —— 如果把人工智慧比喻成一個火箭,那麼這個火箭需要發射升空,它的燃料就是大資料。以前在實驗室環境下很難收集到足夠多的樣本,現在的資料相對以前在數量、覆蓋性和全面性方面都獲得了大幅提升。一般來說深度學習模型想要獲得好的效果,就需要把大量的資料放到模型中進行訓練。

高效能運算 —— 以前高效能運算大家用的是CPU叢集,現在做深度學習都是用GPU,或者GPU叢集。想要使用大量的資料來訓練複雜的深度學習模型那就必須要具備高效能運算能力。如果只是使用幾個CPU來訓練一個複雜模型可能會需要花費幾周甚至幾個月的時間。把數百塊GPU連線起來做成叢集,用這些叢集來訓練模型,原來一個月才能訓練出來的網路,可以加速到幾個小時就能訓練完,可以大大減少模型訓練時間。

寫在最後的話:如果你也是個深度學習愛好者,或者有任何的疑問,可以加我的個人微訊號:sdxxqbf 。

獨家連載系列文傳送門:
深度學習從0到1(1)
深度學習從0到1(2)