NeurIPS公佈最佳論文：華為實驗室榜上有名，加拿大高校實力雄厚
今年，我們迎來了“第一屆” NeurIPS ，也就是改名後的第三十一屆 NIPS 會議。NeurIPS（神經資訊處理系統進展大會）是神經計算領域的頂級會議，被視為機器學習領域最重要的會議之一。
本次會議共收到投稿 4854 篇，根據官方提供的論文列表，本次會議共收錄 1010 篇論文，接收率為 20.8%。
對論文題目進行統計分析，不出意料，佔據前三位的實意詞語分別為 Learning、Neural、Network(s)，均在超過十分一的標題中出現。接下來出現頻率較高的詞語為 Deep、Optimization、Model(s)、Bayesian、Stochastic、Gradient、Adversarial、Variational、Reinforcement、Data、Generative、Efficient、Inference、Gaussian、Graph、Robust、Linear、Fast 和 Descent。這些詞語出現在超過 2% 的題目中。
另外，我們也不難看出，貝葉斯方法、強化學習、GANs、模型的魯棒性和高效性等是當前研究的熱點。
（來源：NeurIPS）
目前，NeurIPS 已經公佈了今年的 4 篇最佳論文和時間檢驗獎。最佳論文中的三篇出自加拿大頂尖大學，加拿大人工智慧的實力引人矚目。另外一篇論文來自 Google AI 。值得一提的是，來自華為實驗室的研究者榜上有名。
以下為 4 篇最佳論文的資訊：
（參考譯名：神經常微分方程）
作者：Ricky T. Q. Chen*, Yulia Rubanova*, Jesse Bettencourt*, David Duvenaud 論文地址： ofollow,noindex"> https:// arxiv.org/abs/1806.0736 6
這篇論文來自於加拿大多倫多大學的 Vector Institute。論文中介紹了一類以黑盒 ODE 求解器作為元件的新的深度學習模型，詳細介紹了它們的性質、訓練細節等。ODE 組建使用一個神經網路對隱藏狀態的導數進行引數化，而不再為隱藏層指定一個離散的序列。神經網路的輸出由黑盒微分方程求解器計算。利用該組建可以建立用於時間序列、監督學習等的新模型。這些模型的評估自適應性的，可以權衡計算的速度和準確度。
圖 | 左：一個殘差網路定義了一個只能進行有限變換的離散序列。而 ODE 模型則定義了一個向量場，其狀態可以不斷進行轉換
2、Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes
（參考譯名：通過樣本壓縮方案學習混合高斯模型的近乎緊密的樣本複雜性邊界）
作者：Hassan Ashtiani, Shai Ben-David , Nicholas J. A. Harvey , Christopher Liaw, Abbas Mehrabian, Yaniv Plan 論文地址： https:// papers.nips.cc/paper/76 01-nearly-tight-sample-complexity-bounds-for-learning-mixtures-of-gaussians-via-sample-compression-schemes
這篇論文的作者來自加拿大的 McMaster 、Waterloo 等頂尖大學。他們證明了在 d 維空間中，當方差距離小於的情況下，取樣對於學習引數為 k 的高斯混合模型是充分且必要的。這進一步精確了之前研究得到的該問題的上界和下界。
3、Optimal Algorithms for Non-Smooth Distributed Optimization in Networks
（參考譯名：網路中非光滑分散式優化的最優演算法）
作者：Kevin Scaman∗ Francis Bach†Sébastien Bubeck‡ Yin Tat Lee‡ § Laurent Massoulié† 論文地址： https:// arxiv.org/abs/1806.0029 1
這篇論文的作者來自華為諾亞方舟實驗室、INRIA、微軟研究院、華盛頓大學等機構。論文聚焦於包含計算單元的網路的非平滑凸函式的分佈優化問題。在兩個規律性假設的前提下，作者提出了 MSPD 演算法和更簡單有效的 DRS 演算法。
4、Non-delusional Q-learning and value-iteration
（參考譯名：非妄想Q學習和價值迭代）
作者：Tyler Lu，Dale Schuurmans，Craig Boutilier 論文地址： https:// papers.nips.cc/paper/82 00-non-delusional-q-learning-and-value-iteration
這是一篇與強化學習中 Q-learning 相關的論文，來自 GoogleAI。作者通過函式逼近的方法確定了 Q-learning 和其他動態規劃模型中基本誤差的基本性來源。當近似模型的框架限制了可表達貪婪策略的類別時，妄想偏差就會產生。為了解決這一問題，作者引入了一種新的一致性策略，並證明使用該策略的基於模型和無模型演算法都可以消除妄想偏差，在一般條件下取得最佳結果。最後，作者還提出了幾種針對大規模增強學習問題實用的啟發式方法，以減輕妄想偏差的影響。
最後，今年的時間檢驗獎則頒發給了 2007 年的論文 The Tradeoffs of Large Scale Learning 。時間檢驗獎是一篇論文可以得到的最高讚譽之一，說明一篇論文經受住了時間的考驗，對整個領域產生了重大的影響。這篇論文通過一個理論框架，討論了近似優化對學習演算法的影響。計算機計算能力的飛速發展的同時，我們也步入了大資料時代。機器學習、深度學習的特性使得學習理論必須將計算複雜度納入考量。作者在研究中發現，由於訓練數量和訓練時間的約束，不同規模學習模型的泛化能力之間存在質的差異。該論文為不同規模模型的細節設計提供了重要的參考。
時間檢驗獎
The Tradeoffs of Large-Scale Learning
（參考譯名：大規模學習的權衡）
作者：Le ́on Bottou，Olivier Bousquet
論文地址： https:// papers.nips.cc/paper/33 23-the-tradeoffs-of-large-scale-learning.pdf