NeurIPS 2018最佳論文出爐：UT陳天琦、華為上榜
經歷了 ofollow,noindex">改名 、 搶票 和 論文評審 等等風波的「預熱」，第 32 屆 NeurIPS 於當地時間 12 月 3 日在加拿大蒙特利爾正式開幕。機器之心有幸參與了「第一屆 NeurIPS」。
在大會第一天的 Opening Remarks 上，NeurIPS 2018 公佈了本屆大會的獲獎論文。來自多倫多大學的陳天琦、麥克馬斯特大學的 Hassan Ashtiani、谷歌 AI 的 Tyler Lu，以及華為諾亞方舟實驗室的 Kevin Scaman 等人成為了最佳論文獎的獲得者。
作為人工智慧的頂級會議，NeurIPS 究竟有多火？首先，讓我們看看參會人數的變化：2016 年有 5000 人註冊參加該會議，2017 年參會人數飆升至 8000，今年參會人數近 9000，且出現了 11 分鐘大會門票被搶光的盛況，僅次於 Beyonce 音樂會的售票速度。
在活動方面，今年新增了 Expo 環節，吸引了全球 32 家公司的參與。在 12 月 2 日的 Expo 中，這些公司共組織了 15 場 Talk&Pannel、17 場 Demonstration、10 場 workshop。此外，為期一週的整個大會包含 4 個 tutorial session、5 場 invited talk、39 場 workshop 等。
至於論文方面，NeurIPS 2018 共收到 4856 篇投稿，創歷史最高記錄，最終錄取了 1011 篇論文，其中 Spotlight 168 篇 (3.5%)，oral 論文 30 篇 (0.6%)。
而這些論文涉及的主題包括演算法、深度學習、應用、強化學習與規劃等。大會程式委員聯合主席表示，這些提交論文中，69% 的論文作者表示將放出程式碼（結果只有 44%），42% 將公佈資料。
接收論文主題 Top 10
介紹完大會基本資訊，我們來看看今年的最佳論文：
4 篇最佳論文（Best paper awards）
論文：Neural Ordinary Differential Equations
-
作者：Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud（四人均來自多倫多大學向量研究所）
-
連結： https://papers.nips.cc/paper/7892-neural-ordinary-differential-equations.pdf
摘要：本研究介紹了一種新的深度神經網路模型家族。我們並沒有規定一個離散的隱藏層序列，而是使用神經網路將隱藏狀態的導數引數化。然後使用黑箱微分方程求解器計算該網路的輸出。這些連續深度模型（continuous-depth model）的記憶體成本是固定的，它們根據輸入調整評估策略，並顯式地用數值精度來換取運算速度。我們展示了連續深度殘差網路和連續時間隱變數模型的特性。此外，我們還構建了連續的歸一化流，即一個可以使用最大似然訓練的生成模型，無需對資料維度進行分割或排序。至於訓練，我們展示瞭如何基於任意 ODE 求解器進行可擴充套件的反向傳播，無需訪問 ODE 求解器的內部操作。這使得在較大模型內也可以實現 ODE 的端到端訓練。
圖 1：左：殘差網路定義離散序列的有限變換。右：ODE 網路定義向量場，其連續變換狀態。兩張圖中的黑色圓圈表示評估位置（evaluation location）。
圖 4：歸一化流和連續歸一化流的對比。歸一化流的模型容量由深度（K）決定，而連續歸一化流可以通過增加寬度（M）來增加模型容量，這使其更加容易訓練。
圖 6：隱 ODE 模型的計算圖。
論文：Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes
-
作者：Hassan Ashtiani、Shai Ben-David 等（麥克馬斯特大學、滑鐵盧大學等）
本文作者證明了 
樣本對於學習 R^d 中 k-高斯混合模型是必要及充分的，總變分距離的誤差為ε。這一研究改善了該問題的已知上限和下限。對於軸對齊高斯混合模型，本文表明 
樣本是充分的，與已知的下限相匹配。其上限的證明基於一種基於樣本壓縮概念的分佈學習新技術。任何允許這種樣本壓縮方案的類別分佈也可以用很少的樣本來學習。此外，如果一類分佈有這樣的壓縮方案，那麼這些分佈的乘積和混合也是如此。本研究的核心結果是證明了 R^d 中的高斯類別具有有效的樣本壓縮。
論文：Non-delusional Q-learning and value-iteration
-
作者：Tyler Lu（Google AI）、Dale Schuurmans（Google AI）、Craig Boutilier（Google AI）
-
連結： https://papers.nips.cc/paper/8200-non-delusional-q-learning-and-value-iteration.pdf
摘要：本研究發現了使用函式近似的 Q-learning 和其它形式的動態規劃中的一個基本誤差源。當近似架構限制了可表達貪婪策略的類別時，就會產生 delusional bias。由於標準 Q 更新對於可表達的策略類作出了全域性不協調的動作選擇，因此會導致不一致甚至衝突的 Q 值估計，進而導致高估/低估、不穩定、發散等病態行為。為了解決這個問題，作者引入了一種新的策略一致性概念，並定義了一個本地備份過程，該過程通過使用資訊集（這些資訊記錄了與備份 Q 值一致的策略約束）來確保全域性一致性。本文證明，基於模型和無模型的演算法都可以利用這種備份消除 delusional bias，併產生了第一批能夠保證一般情況下最佳結果的已知演算法。此外，這些演算法只需要多項式的資訊集（源於潛在的指數支援）。最後，作者建議了其它嘗試消除 delusional bias 的實用價值迭代和 Q-learning 的啟發式方法。
圖 1：一個簡單的 MDP，展示了 delusional bias。
圖 2：在一個具有隨機特徵表徵的網格世界中進行規劃及學習。圖中的「iterations」是指遍歷狀態-動作對，Q-learning 和 PCQL 除外。深色線：估計可達到的最大期望值。淺色線：貪婪策略所達到的實際期望值。
論文：Optimal Algorithms for Non-Smooth Distributed Optimization in Networks
-
作者：Kevin Scaman（華為諾亞方舟實驗室）、Francis Bach（PSL 研究大學）、Sébastien Bubeck（微軟研究院）、Yin Tat Lee（微軟研究院）、Laurent Massoulié（PSL 研究大學）
摘要：本研究考慮使用計算單元網路對非光滑凸函式進行分散式優化。我們在兩種規則假設下研究該問題：1）全域性目標函式的利普希茨連續；2）區域性單個函式的利普希茨連續。在區域性假設下，我們得到了最優一階分散式演算法（decentralized algorithm）——多步原始對偶（multi-step primal-dual，MSPD）及其對應的最優收斂速率。該結果重要的方面在於，對於非光滑函式，儘管誤差的主要項在 O(1/ sqrt(t)) 中，但通訊網路（communication network）的結構僅影響 O(1/t) 中的二階項（t 是時間）。也就是說，通訊資源限制導致的誤差會以非常快的速度降低，即使是在非強凸目標函式中。在全域性假設下，我們得到了一個簡單但高效的演算法——分散式隨機平滑（distributed randomized smoothing，DRS）演算法，它基於目標函式的區域性平滑。研究證明 DRS 的最優收斂速率在 d^(1/4) 乘積因子內（d 是潛在維度）。
經典論文獎（Test of time award）
去年的經典論文頒給了核函式加速訓練方法，今年的經典論文也是一篇偏理論的研究論文，它們都是 2007 年的研究。
論文：The Tradeoffs of Large Scale Learning
-
作者：Le´on Bottou（NEC laboratories of America）、Olivier Bousquet（谷歌）
-
連結： https://papers.nips.cc/paper/3323-the-tradeoffs-of-large-scale-learning.pdf
該論文的貢獻在於開發了一個理論框架，其考慮了近似優化對學習演算法的影響。該分析展示了小規模學習和大規模學習的顯著權衡問題。小規模學習受到一般近似估計權衡的影響，而大規模學習問題通常要在質上進行不同的折中，且這種權衡涉及潛在優化演算法的計算複雜度，它基本上是不可求解的。
表 2：梯度下降演算法的漸進結果，倒數第二列為到達準確率的優化時間，最後一列為到達超過測試誤差率 epsilon 的優化時間。其中 d 為引數維度、n 為樣本數。
作為本次大會的受邀媒體，機器之心來到了蒙特利爾，參與了本次 NeruIPS 大會。未來幾天，我們還將發來最新現場報道，敬請期待。
