深度學習之江湖~那些大神們，不相信只有我一個人愛八卦
如果以門派論：
Jeff Hinton是深度學習的"開山祖師爺"，也是武林中的"少林派"的主持，德高望重，96年創立人工神經網路的BP演算法，驚天動地，當年被給予厚望可惜ANN沒有發展起來後來反被搞SVM的人壓制了將近20年，據說2006以前Hinton系的人被壓制到每年的NIPS ICML這樣會議都發不了，因為一定會被SVM的人斃掉。終於，蟄伏良久，厚積薄發，王者歸來，2006年開始推出深度神經網路，終於引領了這波浪潮。Google去年收購了2個深度學習的公司，一個是DNNResearch，只有三個員工分別是Hinton和他的兩個博士生。另外一個是英國的DeepMind，創始人也是Hinton的博士生，傳言花了5億刀。
Yann Lecun可以算作DL江湖的"武當派"掌門人，因為武當派的開山鼻祖"覺遠大師"也是師出少林。Yann Lecun一手創立卷積神經網路CNN，這也是目前DL在影象上邊發力的必備武器。去年NIPS 2013會議上，扎克伯格突然現身，宣佈Yann Lecun被他招攬到了facebook了。Yann Lecun還是紐約大學Data science center創始人和主任。
Yoshua Bengio, 從2006年開始，主要是Hinton、Yoshua、Yann Lecun開始發起的深度學習的浪潮，很多這個領域的牛paper都是出自Yoshua的手(而且是自己寫)。當前學習DL有力的工具PyLearn2和Theano都是出自他們實驗室。對其瞭解不多，只是覺得他的paper特別的厚而且自成體系。最近看到對他的採訪，讓他評價一下"為什麼最近這些深度學習的大牛都投身工業界了?"，他的回答是："我喜歡學術界，因為我可以選擇研究我喜歡的課題，我可以選擇設立一個長期的目標來為之努力，我可以為全人類的福祉來奮鬥而不是某一個特定公司的利益，而且我可以非常自由的公開討論我的研究成果和進展"。不過，Yoshua會不會被某公司收攬呢，一切不好說。凡事親力親為，門下弟子不多，淡泊名利，從這個角度看，Yoshua Bengio是應該算作"逍遙派"的"無崖子"吧。
Andrew Ng，香港出身，中文名"吳恩達", 近幾年機器學習界炙手可熱的後起之秀，年齡只有38，而且是最近才結婚(在twitter上看到他show的婚紗照了)，stanford計算機副教授 & AI Lab主任。成果無數，產出驚人，比如和David Blei 以及他們的老師Michael Jordon建立的LDA就耳熟能詳,此外還有Reinforcement Learning、Sparse coding、Bayesian network、NLP、Deep learning方面奇功無數(水平有限，無法概括大牛的領域)，在其主頁上粗粗瀏覽了一下有160多篇論文，基本上統治了ICML NIPS AAAI等所有相關領域國際頂級會議和頂級期刊。前兩年和D.Koller(Graphic model & Bayesian很厲害的一名女教授)合作推出了Coursera，風靡全球，讓人足不出戶就能聆聽大師講課。感覺Ng在學術界和工業界都很能混的開，"Google Brain之父"完了之後就是"Baidu Brain之父"，既能"出世"又能"入世"，進退自如，恢恢乎遊刃有餘，以stanford為據點培養了一大批博士生(比如Quoc Le現在是Google Brain的核心人員 Richard socher去年在NLP的文章也很精彩)，劍法飄逸，涉獵深廣，最重要的是年輕，這點來看可以算作武林屆的"令狐沖"。
那麼誰是"風清揚"呢("風清揚"和"逍遙派"的關係待考證)，必然是其師Michael Jordon了，機器學習屆的"泰山北斗"，就像在”風清揚“在華山一手開創劍宗一脈。Michael Jordon也是一手開創統計ML, 涵蓋的領域包括： Bayesian nonparametric analysis, probabilistic graphical models, spectral methods, kernel machines and signal processing, statistical genetics, computational biology, information retrieval and natural language processing(摘自其主頁介紹http://www.eecs.berkeley.edu/Faculty/Homepages/jordan.html)，正好9個領域，簡直真真是"獨孤九劍"了，讓人歎為觀止。
Jeff Dean, 人稱網際網路戰神，Google Senior Fellow(Google工程師最高級別，這個級別就是為Jeff Dean設立的)，締造了谷歌的很多系統和框架，極大的影響了當今網際網路、大資料的技術深度和演進。其貢獻包括：MapReduce BigTable的發明人(谷歌老三架馬車是GFS Mapreduce Bigtable)那2篇牛paper作者，Google Adsense & Adwords第一個版本作者，Five generation谷歌網頁檢索系統作者、Protocal buffer作者，分散式作業系統創始人，Google News作者，Spanner作者，DistBelief作者(這個和深度學習相關), Google Translate創始人。大規模深度學習網路的第一個系統算是DistBelief, 當然對外的專案名稱叫做"Google Brain". DistBelief當時用了1000臺機器、16000個核做了一個深度神經網路(paper: large scale ditributed deep networks)，算是在工業界率先開啟超大規模深度學習網路的先河。Jeff Dean在國外內工程師心目中簡直是神一般的存在，廣為流傳的Jeff Dean的搞笑段子就是一個最好的說明。早期focus在編譯器、並行處理、大資料架構等系統方面，近期看到的一些產出都是在機器學習+大規模系統的方面，左手機器學習，右手無出其右的架構和系統，所以從宗師級的來看，Jeff Dean應該算全真教的"王重陽"。
當然深度學習界還有一些響噹噹的人物，比如Li Deng、Dong Yu、Kai Yu，前兩位是在微軟雷蒙德研究院，和Hinton深度合作，將DL在語音識別、語音合成上的應用提上了一個新臺階，在DL的發揚光大起了至關重要的作用。Kai Yu是國人中做DL的先驅(和如上幾位交集甚深，屬於一個圈內的人物)，某廠IDL的副廠長，一手帶動深度學習在某廠的很多領域得到應用，比如：影象檢索和理解、語音識別、Learning to Rank和廣告裡面的CTR prediction，也是國內DL的佈道者，將某廠的DL的知名度和影響面成功擴大到全球領域，帶動了國內DL的浪潮，可謂風頭一時無兩。
再說說現在深度神經網路的規模吧，最早Google的Distblief用了1000臺機器、16000核處理的網路規模大概是10億個神經元，而後Ng回了stanford之後，用了16臺CPU Server，每個server插4個GPU，總共是64個GPU(但是用了一個超牛逼的交換機叫做InfiniBand)，可訓練的網路規模是112億的神經元。確實，從效率、通訊、擴充套件性上來講，GPU甚至是CPU+GPU是趨勢，這也是Ng很快搞出一個網路規模更大、機器資源更省深度網路之後可以馬上宣稱"堆機器有什麼用，效率才是王道"的原因(這句話是我的杜撰，但是"Deep Learning with COTS HPC Systems"確實最後講明瞭這個工作的意義在於沒那麼多的機器照樣可以做大規模的深度網路)。最近看到的訊息，某廠的網路規模已經達到了200億的節點規模(這可能也是對Ng有吸引力的地方)，他們招攬了異構的專家搞異構計算，但總之GPU還是王道。下一步呢，我自己覺得目標將會是1000億的神經元的規模，因為深度學習的一路進展是在深度更深的背景是進行的，而且到了超大規模之後有可能能夠發現一些更加不一樣的東西，真能進入一片"不一樣的天空"也未可知。接下來就看google、facebook還是baidu誰先到這個地步了，因為規模越大，對並行架構、優化演算法(至少目前的aSgd基本不能work)提出前所未有的挑戰。
相關推薦
深度學習之江湖~那些大神們，不相信只有我一個人愛八卦
如果以門派論：Jeff Hinton是深度學習的"開山祖師爺"，也是武林中的"少林派"的主持，德高望重，96年創立人工神經網路的BP演算法，驚天動地，當年被給予厚望可惜ANN沒有發展起來後來反被搞SVM的人壓制了將近20年，據說2006以前Hinton系的人被壓制到每年的NIPS ICML這樣會議都發不了，因
整理的最全大資料學習之路「大神必修課」
前言： 一、背景介紹 二、大資料介紹 正文： 一、大資料相關的工作介紹 二、大資料工程師的技能要求 三、大資料學習規劃 四、持續學習資源推薦（書籍，部落格，網站） 五、專案案例分析（批處理+實時處理） 前言 一、背景介紹 本人目前是一名大資料工程師，專案資
這陣子開始入門學習html標簽。下面是本人對標簽的筆記分享給平臺裏面的大神們。需要各位大神補充還有那些常用標簽。請留意指教 感激不盡
像素 AR img text 命令 AI tex link 入門學習 <p> </p> 段落標簽 <h#> </h#>（1-6） 比trong更有重要性 標題標簽 <title> </title> &l
詳解深度學習之經典網路架構（十）：九大框架彙總
目錄 0、概覽 2、總結 本文是對本人前面講的的一些經典框架的彙總。 純手打，如果有不足之處，可以在評論區裡留言。 0、概覽 1、個人心得 （1）LeNet：元老級框架，結構簡單，卻開創了卷積神經網路的新紀元，具有重要的學
我是一個新手小白，想學習C++程式設計，但是不知道該如何入手。請大神們給出一個簡單的思路。
如題所示，我現在準備學習C++程式語言，因為是0基礎，所以入門也顯的很迷茫，也看過一些視訊，感覺講的很好，但就是聽得雲裡霧裡，看著視訊也會嘗試敲一些程式碼，但是程式碼的意思，也都不懂，不知道該如何入手，所以就想到，如果要
葉梓老師開講0基礎學習人工智慧 人工智慧之機器學習與深度學習-6術語辨析——大資料
術語辨析——大資料 •大資料：大資料是一種從資料的採集、管理、分析、挖掘到提供服務，解決超量資料條件下行業問題的綜合能力。 •大資料是從資料生命週期這個維度來看的知識獲取過程，也是一種基於超量資料的思維方式。 •通常講大資料都會提到4個V，Volume
深度學習之收斂問題
bat 模擬 訓練 gin i-o 都是 wid 分類 number http://blog.csdn.net/xlbryant/article/details/48470987 1.數據庫太小一般不會帶來不收斂的問題，只要你一直在train總會收斂（rp問題跑飛了不算）。
大神們幫忙啦
ips dpi vpn zcl dbv shp poj pdv hao123 %E6%8F%90%E9%AB%98%E6%95%B0%E7%BB%84%E6%93%8D%E4%BD%9C%E9%80%9F%E5%BA%A6 http://music.baidu.com/s
1.深度學習之安裝教程
步驟 install sta tensor lib64 libc 鏈接 lib flow 在centos5下安裝TensorFlow。 步驟： 1.安裝python3.5 2.安裝pip3，同時建立軟鏈接。 3.安裝TensorFlow，pip install --upgr
深度學習之tensorflow （一）
spa 計算 put range mst reduce logs 分析 pen 一、TensorFlow簡介 1.TensorFlow定義： tensor ：張量，N維數組 Flow : 流，基於數據流圖的計算 TensorFlow : 張量從圖像
深度學習之 seq2seq 進行 英文到法文的翻譯
enc super load mark ext pre res drop zeros 深度學習之 seq2seq 進行 英文到法文的翻譯 import os import torch import random source_path = "data/small
深度學習之圖片壓縮算法
深度學習、圖片壓縮近年來，深度學習在計算機視覺領域已經占據主導地位，不論是在圖像識別還是超分辨重現上，深度學習已成為圖片研究的重要技術；現在深度學習技術已進入圖片壓縮領域。以圖鴨科技最新研發的圖片壓縮——Tiny Network Graphics (TNG) 為例，其以深度學習卷積神經網絡為內核，在保持相同圖
Tensorflow深度學習之十二：基礎圖像處理之二
fcm 數字 ssi port con tty .net term file Tensorflow深度學習之十二：基礎圖像處理之二 from：https://blog.csdn.net/davincil/article/details/76598474 首先放出
深度學習 之 GRU 算法例子
深度學習 GRU 算法 例子首先下載代碼：https://github.com/whk6688/rnn 例子1：預測下文 private void train(CharText ctext, double lr) { Map<Integer, String> indexChar
深度學習之 TensorFlow（四）：卷積神經網絡
padding valid 叠代 val 分析 此外 nbsp drop BE 基礎概念： 卷積神經網絡（CNN）：屬於人工神經網絡的一種，它的權值共享的網絡結構顯著降低了模型的復雜度，減少了權值的數量。卷積神經網絡不像傳統的識別算法一樣，需要對數據進行特征提取和數據重
唐宇迪-機器學習/深度學習 系列課程福利大發送！不單優惠 還送機器學習必備實戰書籍！
機器學習 深度學習 人工智能 決勝AI就在今天 Hi同學們，給大家推薦一本機器學習的入門佳品：機器學習實戰。這本書可以說是我看過最通俗易懂的機器學習書籍了，並沒有上來直接闡述一些看著就頭疼的各種數學公式，而是以實際案例為出發點一步步帶領大家完成各個算法的建模與練習，人工智能必備No.1! 福利
深度學習 之 DeepLearning4j 預測股市走向
深度學習 之 DeepLearning4上一篇，預測花的類型，是沒有用到中間件的，實際情況是，數據量是非常大的，所以不實用，這次使用DeepLearning4j來預測股市走向，後續加上spark。代碼如下： public class DailyData { //開盤價 private doub
劉國柱- Unity遊戲開發深度學習 系列課程福利大放送
Unity課程送書 Unity套餐課程 Unity遊戲深度學習 Unity最新書籍贈送 Unity專題課程 劉國柱--Unity遊戲開發深度學習 系列課程福利大發送！不單優惠， 還送Unity最新版本必備實戰書籍！ HI, 各位熱心的Unity愛好者與學員，《Unity3D/2D 遊戲開
機器學習&深度學習之路
線性 概率論 向量 正則 決策 下機 正則化 希望 池化 計劃最近好好按步驟按階段系統性的學習下機器學習和深度學習，希望能堅持下去。 基礎數學篇 [高等數學：求導、梯度] [高等數學：泰勒展開] [概率論：基本概念、條件概率、全概率、樸素貝葉斯] [概率論：期望、方差
深度學習之神經網絡（CNN/RNN/GAN） 算法原理+實戰
依次 正向 重要 深入 tun 機器學習算法 及其 卷積 -m 第1章 課程介紹 深度學習的導學課程，主要介紹了深度學習的應用範疇、人才需求情況和主要算法。對課程章節、課程安排、適用人群、前提條件以及學習完成後達到的程度進行了介紹，讓同學們對本課程有基本的認識。 第2章