原文來源：Medium、GitHub

作者：TarasSereda

「雷克世界」編譯：嗯~阿童木呀、KABUDA

今年的NIPS是一場盛大的、極富教育意義和探索精神的、魅力十足且人數眾多的會議。

第一步，登記排隊

量子計算機

Tutorials

深度學習：實踐與趨勢

我參加了“趨勢”部分，我所看到的讓我感到好笑，首先，我認為這個tutorial不適用於初學者（這是一種抽象說法）。可以說，它是一個結構良好，更加適用於深度學習從業者的產品導向材料。主要趨勢是：域調整/適應；基於圖形的神經網路、程式歸納等。從I/O、模型架構和損失的角度分析了每種趨勢。Orilo Vinyals還介紹了主要的Mete方法：

視訊： https://www.youtube.com/watch?v=YJnddoa8sHk

使用概率程式、程式歸納和深度學習的工程與可逆工程智慧

概率程式設計是非常出色的，但或許出於其複雜性的原因，它的應用並不廣泛。它為你提供了一種以概率方式描述問題的途徑，這是現實世界的自然表現。你可以在引數、模型輸入和輸出中編碼不確定性，並獲得一組程式執行的預估痕跡。

這個領域正在快速發展，並且可為你提供大量工具。我認為使用概率程式設計領域的想法可以幫助解決在追蹤對抗樣本方面的問題。

未來的研究方向包括：

•與深度學習的融合

•為蒙特卡洛推理建立快速的執行時間(“BLAS”for Monte Carlo)

助力未來100年——受邀嘉賓John Platt所帶來的的演講。

鼓舞人心的想法和分析——關於將聚變作為能源來源的重要性。此外，作者還提供了一個互動式工具的連結，你可以在其中使用不同比例的能源及其組合來滿足約束條件。

為了使聚變能夠成功，有許多事情要做。首先它應該消耗更多的能量，這個過程應該是可擴充套件的，對於終端使用者來說它是最重要的因素。據估計，到2020年，這些先決條件中的一部分應該會是非常充分的。

詳盡的陳述

配對資料影象翻譯

注意機制的規劃和可替代方案

雙曲空間中的分層嵌入

注意（Attention）是你所需要的

研討會

音訊訊號處理的機器學習（ML4Audio）

http://media.aau.dk/smc/ml4audio/

傑出的音訊研究員研討會

聲學詞嵌入。目標——在一些高緯度的空間中建立一種表示，其中，相似的口語詞彼此之間的距離較小。這個問題比文字域要複雜得多。因為人們說一個單詞的方式是多種多樣的。相應的波形因揚聲器而異，也取決於韻律和材質。長短期記憶網路（LSTM）可用於生成一個口語詞的固定長度向量表示，還可以用於模擬嵌入空間的對比損失技術。這種方法也是多視角的，這意味著字元和聲音的表現是共模的。

論文：https://arxiv.org/abs/1611.04496

程式碼： https://github.com/opheadacheh/Multi-view-neural-acoustic-words-embeddings

谷歌的玩家在Tacotorn TTS模型上展示了一些改進，這些模型可以捕捉說話者的風格。其主要思想是學習一個“風格原子詞彙”（style atomic vocabulary），並使用“風格原子”的線性組合形成一個風格向量，作為生成下一個波形時間步長的條件。調節是通過注意機制來實現的。通過簡單預測風格向量的標量權重，完全連線層被用來決定應該將在哪種型別的文字注意（textattention）和風格注意（style attention）進行混合。

可用樣品：

https://google.github.io/tacotron/publications/uncovering_latent_style_factors_for_expressive_speech_synthesis/index.html

機器學習的創意和設計

學習解構特徵：從感知到控制

這個研討會探討的主要話題是關於可控生成模型，1年前只有InfoGAN被提出（據我所知），現在有更多的想法被提出來。其中之一是ß-VAE，當KL損失項被加權時，其只傳遞使編碼資料發生變化的資訊，以便約束資訊瓶頸（informationbottleneck）被分離。

這個領域是尚沒有人的經驗可以借鑑，因此沒有常見的方式來衡量分離程度，DeepMind提出了改進ß-VAE和新分離程度的度量方法。

今年在加州長灘會議中心舉行的2017年神經資訊處理系統（NIPS）會議可謂是有史以來最大的一次會議！以下是所有受邀嘉賓的演講、教程和研討會的資源及幻燈片清單。

內容包括以下幾個方面：

1.受邀嘉賓演講

2.教程

3.研討會

4.WiML

受邀嘉賓演講

•助力未來100年——John Platt

•為什麼人工智慧夠使人類基因組重程式設計成為可能——Brendan J Frey

視訊連結：https://www.youtube.com/watch?v=QJLQBSQJEus

•偏差所帶來的問題——Kate Crawford

視訊連結：https://www.youtube.com/watch?v=fMym_BKWQzk

•結構的不合理有效性——Lise Getoor

視訊連結：https://www.youtube.com/watch?v=t4k5LKCpboc

•機器人深度學習——Pieter Abbeel

幻燈片連結：https://www.dropbox.com/s/fdw7q8mx3x4wr0c/2017_12_xx_NIPS-keynote-final.pdf

視訊連結：https://www.youtube.com/watch?v=po9z_tMuEwE

•學習狀態表徵——Yael Niv

•貝葉斯深度學習與深度貝葉斯學習——Yee Whye Teh

視訊連結：https://www.youtube.com/watch?v=9saauSBgmcQ

•AlphaZero—掌握沒有人類知識的遊戲­——DavidSilver

視訊連結：https://www.youtube.com/watch?v=A3ekFcZ3KNw

Tutorial

•深度學習：實踐與趨勢——Nando de Freitas、Scott Reed、Oriol Vinyals

幻燈片連結：https://docs.google.com/presentation/d/e/2PACX-1vQMZsWfjjLLz_wi8iaMxHKawuTkdqeA3Gw00wy5dBHLhAkuLEvhB7k-4LcO5RQEVFzZXfS6ByABaRr4/pub?slide=id.p

視訊連結：https://www.youtube.com/watch?v=YJnddoa8sHk

•Reinforcement Learningwith People——Emma Brunskill

視訊連結：https://www.youtube.com/watch?v=TqT9nIx27Eg

•優化運輸的初級入門——Marco Cuturi、Justin M Solomon

幻燈片連結：https://www.dropbox.com/s/55tb2cf3zipl6xu/aprimeronOT.pdf

•用高斯過程進行深度概率建模——Neil D Lawrence

幻燈片連結：http://inverseprobability.com/talks/lawrence-nips17/deep-probabilistic-modelling-with-gaussian-processes.html

•機器學習的公平性——Solon Barocas、Moritz Hardt

幻燈片連結：http://mrtz.org/nips17/#/

•統計關係人工智慧：邏輯，概率和計算——Luc De Raedt、David Poole、Kristian Kersting、Sriraam Natarajan

•使用概率程式、程式歸納和深度學習進行的工程和可逆工程智慧——Josh Tenenbaum、Vikash K Mansinghka

•可微私有機器學習：理論、演算法和應用——Kamalika Chaudhuri、Anand D Sarwate

幻燈片：http://www.ece.rutgers.edu/~asarwate/nips2017/NIPS17_DPML_Tutorial.pdf

•關於圖和流形的幾何深度學習——Michael Bronstein、Joan Bruna、arthur szlam、Xavier Bresson、Yann LeCun

研討會

1. 2017機器學習系統研討會（http://learningsys.org/nips17/index.html）

與會嘉賓：Aparna Lakshmiratan、Sarah Bird、Siddhartha Sen、Christopher Ré、Li Erran Li、Joseph Gonzalez、Daniel Crankshaw

•用於新興AI應用程式的分散式執行引擎——Ion Stoica

•學習資料庫索引的案例

•聯合多工學習——Virginia Smith

連結：http://learningsys.org/nips17/assets/slides/mocha-NIPS.pdf

•在資料中心規模上加速永續性神經網路——Daniel Lo

連結：http://learningsys.org/nips17/assets/slides/brainwave-nips17.pdf

DLVM：神經網路DSL的現代編譯器框架——RichardWei、Lane Schwartz、Vikram Adve

連結：http://learningsys.org/nips17/assets/slides/dlvm-nips17.pdf

•系統性機器學習系統和機器學習系統——Jeff Dean

連結：http://learningsys.org/nips17/assets/slides/dean-nips17.pdf

•使用ONNX為AI模型建立一個開放靈活的生態系統——Sarah Bird、Dmytro Dzhulgakov

連結：http://learningsys.org/nips17/assets/slides/ONNX-workshop.pdf

•NSML：一個能夠讓你專注於你的模型機器學習平臺——Nako Sung

連結：http://learningsys.org/nips17/assets/slides/nsml_slides.pdf

•DAWNBench：一個端到端的深度學習基準和競爭機制——Cody Coleman

連結：http://learningsys.org/nips17/assets/slides/dawn-nips17.pptx

2.貝葉斯深度學習（http://bayesiandeeplearning.org/）

與會人員：Yarin Gal、José Miguel Hernández-Lobato、Christos Louizos、Andrew GWilson、Diederik P、(Durk) Kingma、Zoubin Ghahramani、Kevin P Murphy、Max Welling

•為什麼你不使用概率程式設計呢？——Dustin Tran

連結：http://dustintran.com/talks/Tran_Probabilistic_Programming.pdf

•用馬蹄形先驗（HorseshoePriors）在BNN中進行自動模型選擇——Finale Doshi

•用於分散式學習、不確定性量化和壓縮的深度貝葉斯——Max Welling

•作為近似貝葉斯推理的隨機梯度下降——Matt Hoffman

•自迴歸生成模型的新進展——Nal Kalchbrenner

連結：https://drive.google.com/file/d/11CNWY5op_J5PvP02J9g8tciAom-MW9MZ/view

•深度核心學習——Russ Salakhutdinov

•用反向傳播進行的貝葉斯推理——Meire Fortunato

•深度學習層如何通過隨機梯度下降來收斂到資訊瓶頸限制？——Naftali (Tali) Tishby

3.學習有限的標記資料：弱監督和超監督（https://lld-workshop.github.io/）

與會人員：Isabelle Augenstein、Stephen Bach、Eugene Belilovsky、Matthew Blaschko、Christoph Lampert、Edouard Oyallon、Emmanouil Antonios Platanios、Alexander Ratner、ChristopherRé

•Welcome Note

連結：https://lld-workshop.github.io/slides/opening.pdf

•功能磁共振成像啟發：從有限的標記資料中學習——GaëlVaroquaux

連結：https://lld-workshop.github.io/slides/gael_varoquaux_lld.pdf

•從有限的標記資料學習（但存在很多未標記的資料）——Tom Mitchell

連結：https://lld-workshop.github.io/slides/tom_mitchell_lld.pdf

•結構化預測能量網路的光監督——Andrew McCallum

連結：https://lld-workshop.github.io/slides/andrew_mccallum_lld.pdf

•強制神經連線預測器的按則播放——Sebastian Riedel

連結：https://lld-workshop.github.io/slides/sebastian_riedel_lld.pdf

•小組：醫學成像中有限的標記資料——Daniel Rubin、Matt Lungren、Ina Fiterau

連結：https://lld-workshop.github.io/slides/radiology_panel_lld.pdf

•樣本和計算有效的主動學習演算法——Nina Balcan

連結：https://lld-workshop.github.io/slides/nina_balcan_lld.pdf

•這並不明智！對模型解釋進行積極註釋的個案研究——Sameer Singh

連結：https://lld-workshop.github.io/slides/sameer_singh_lld.pdf

•用生成式對抗網路克服有限的資料——Ian Goodfellow

連結：http://www.iangoodfellow.com/slides/2017-12-09-label.pdf

•自然語言理解的難點在哪裡？——Alan Ritter

連結：https://lld-workshop.github.io/slides/alan_ritter_lld.pdf

•結束語

連結：https://lld-workshop.github.io/slides/closing.pdf

座談會

1.可解釋的機器學習

連結：http://interpretable.ml/

與會人員：Andrew G Wilson、Jason Yosinski、Patrice Simard、Rich Caruana、William Herlands

•因果關係在可解釋性中所發揮的作用——Bernhard Scholkopf

幻燈片連結：http://s.interpretable.ml/nips_interpretable_ml_2017_Bernhard_Schoelkopf.pdf

視訊連結：https://www.youtube.com/watch?v=9C3RvDs_hHw

•大型影象資料集中的可解釋性發現——Kiri Wagstaff

幻燈片連結：http://s.interpretable.ml/nips_interpretable_ml_2017_kiri_wagstaff.pdf

視訊連結：https://www.youtube.com/watch?v=_K2wVfi_KDM

•（隱藏的）校準成本——Bernhard Scholkopf

幻燈片連結：http://s.interpretable.ml/nips_interpretable_ml_2017_Kilian_Weinberger.pdf

•小組討論會

連結：https://www.youtube.com/watch?v=kruwzfvKt3w

主持人為Rich Caruana，與會人員：Hanna Wallach、Kiri Wagstaff、Suchi Saria、Bolei Zhou和Zack Lipton。

•人工智慧安全的可解釋性——Victoria Krakovna

幻燈片連結：http://s.interpretable.ml/nips_interpretable_ml_2017_victoria_Krakovna.pdf

視訊連結：https://www.youtube.com/watch?v=3HzIutdlpho

•操作和測量模型的可解釋性——Jenn Wortman Vaughan

幻燈片連結：http://s.interpretable.ml/nips_interpretable_ml_2017_jenn_wortman_vaughan.pdf

視訊連結：https://www.youtube.com/watch?v=8ZoL-cKRf2o

•除錯機器學習管道——Jerry Zhu

幻燈片連結：http://s.interpretable.ml/nips_interpretable_ml_2017_jerry_zhu.pdf

視訊連結：https://www.youtube.com/watch?v=XO2281l_JVw

•小組辯論和後續討論

連結：https://www.youtube.com/watch?v=2hW05ZfsUUo

與會人員：Yann LeCun、Kilian Weinberger、Patrice Simard和Rich Caruana。

WiML

•貝葉斯機器學習：量化不確定性和規模化上的魯棒性——Tamara Broderick

•用於堅守領域的以通訊為中心的多智慧體深度強化學習——Aishwarya Unnikrishnan

•圖卷積網路可以在基因組學的深度學習模型中編碼三維基因組體系結構——Peyton Greenside

•社會科學機器學習——Hannah Wallach

•公平意識建議——Palak Agarwal

•具有損壞性獎勵通道的強化學習——Victoria Krakivna

•改善健康保健：強化學習所面臨的挑戰和機遇——Joelle Pineau

•在深度學習中利用對抗性攻擊提高魯棒性——Zhenyi Tang

•時序要求嚴格的機器學習——Nina Mishra

•用於評估重複拍賣中調出機制的通用框架——Hoda Heidari

•參與專家：在社會科學中應對應對發散引起先驗的狄利克雷過程處理方法（A Dirichlet Process Approach to Divergent Elicited Priors）——SarahBouchat

•大型歸屬圖的表徵學習——Nesreen K Ahmed

幻燈片連結：https://www.slideshare.net/NesreenAhmed2/representation-learning-in-large-attributed-graphs

AI先鋒

ID：EnlightAI

關注人工智慧行業發展，介紹人工智慧技術與產品