百度亮相NeurIPS 首屆Expo：向世界科普了一次中國自動機器學習框架
在 NeurIPS 的第一屆 Expo 上，百度向 NeurIPS 2018 年大會參與者展現了什麼？
近日，國際人工智慧頂級會議 NeurIPS 2018 在加拿大蒙特利爾開幕。今年，除了更改了會議名稱縮寫，與往屆 NIPS 還有所不同的是增加了面向產業的 Expo，以 Talk&Panel、Workshop、Demonstration 的形式展現產業界人工智慧研究成果。
百度作為國內最早投身 AI 領域的科技巨頭，今年不僅數篇學術論文入選 NeurIPS 2018，百度大資料實驗室於當地時間 12 月 2 日組織了一場主題為《Common Model Infrastructure》的 Workshop，邀請了來自谷歌、微軟、XPrize 的研究者，就自動機器學習這一專題進行分享，百度方面也介紹了自己在這方面的研究成果。
在 Keynote 演講中，百度大資料實驗室主任浣軍就百度自動深度學習的技術進展 AutoDL 做了分享。百度深度學習技術平臺部總監馬豔軍介紹了 2016 年百度開源的深度學習框架 PaddlePaddle，及其產業化應用。
百度打造自動化深度學習引擎 AutoDL
2015 年 ResNet 的出現使得深度學習架構的層數和 ofollow,noindex" target="_blank"> 超引數 數量暴增，這給研究員搭建和除錯優化模型帶來了巨大的挑戰。自動化機器學習技術能大幅度地減少研究員搭建模型的時間，也為那些缺乏深度學習技能的研究團隊提供了一個可以搭建定製化模型的平臺。
百度在今年 7 月舉辦的 AI 開發者大會上首次提出 AutoDL 1.0，利用深度學習來設計深度學習網路架構，並於四個月後的百度世界大會上推出 AutoDL 2.0，進一步完善其功能。浣軍表示，百度提出 AutoDL 的目的是希望通過開放、普惠的人工智慧讓更多中小企業同樣能享受到人工智慧的紅利。
在演講中，浣軍詳細介紹了 AutoDL 的設計特色和現有能力。AutoDL 主要由三個部分組成：第一部分是模型設計，即 自動化機器學習 的神經架構設計方法；第二部分是模型適配，即神經網路如何根據不同的任務目標和硬體裝置生成與之適配的模型；第三部分模型遷移，即將預訓練好的模型架構應用在特定的小資料集上。
首先是模型設計。和市面上已有的產品相比—包括谷歌的 Cloud AutoML、微軟的 Custom Vision Services、亞馬遜的AmazonML、Salesforce 的 TransmogrifAI —AutoDL 從功能上更完整，能實現包括神經網路結構搜尋、自動模型選擇、和自動 超引數 調整等功能，AutoDL 設計效果也居於業內前列。
AutoDL 的搜尋方法主要基於 深度強化學習 ，從頭開始搜尋神經網路架構，即神經架構搜尋。AutoDL 的設計架構中，存在一個「模型編碼器」和「模型測評器」。「模型編碼器」是一個迴圈神經網路，將構建架構的模組組合在一起獲得一個新的網路架構。「模型測評器」訓練這個架構並且希望模型架構能夠收斂，最後獲得新的準確率會作為獎勵反饋給「模型編碼器」。通過這種迴圈，AutoDL 相比人工搭建與除錯能獲得性能更好的模型。
浣軍強調說，為了解決自動化機器學習的設計過程所出現過擬合問題，百度的研究員使用了一組正則化方法，包括混合（mix-up）和搖搖（shake-shake），並且開發了基於 Rademacher 複雜度的正則化，來保證泛化能力。以下是實驗結果。
其次是模型適配。人工智慧應用不只是在雲端，如何讓龐大的、複雜的深度學習模型在邊緣計算以及終端計算上發揮作用，保證模型推理準確性的同時減少模型的規模以適配算力和記憶體較小的硬體裝置，已經成為人工智慧技術提供商的主要挑戰。今年，模型壓縮和自動化機器學習兩個領域的交叉研究是工業界熱議的話題（可參見機器之心過去報道的 韓鬆和李佳的研究 ）。
浣軍以影象分類和物體識別問題舉例，百度實現了文獻中的最新進展 3D-FilterMaps。相比於傳統卷積層中的一組獨立過濾器（Filter），從 3D - FilterMap 中提取的過濾器作為重疊的 3D 子矩陣，相鄰過濾器之間的權重共享。由於權重共享，當 3D - FilterMap 生成相同數量的過濾器時，其引數大小比傳統卷積層中要學習的濾波器小得多。3D-FilterMaps 的主要作者現在是百度大資料實驗室的研究員。
實驗證明，在 CIFAR-10 資料集上，壓縮後的 ResNet-50 模型在引數數量只有 1/6 的情況下，準確率竟然還提升了 0.04%；壓縮後的DenseNet121 在引數數量只有 1/5 的情況下，準確率只降低了 0.03%。
最後是模型遷移。將預訓練好的模型應用在特定的小資料集上是目前主要的遷移方法，它能高效快速地完成部分權重的訓練。由於效能受到了特定資料集大小的限制，目前業內已經研究了一些正則化方法，用 SPAR（起點作為參考）來約束目標網路的外層權重。
百度大資料實驗室的研究員提出了一種新的 正則化 轉移學習框架—Deep Learning Transfer Using Feature Map With Attention (DELTA)，旨在保留目標網路的外層輸出，而不是約束神經網路的權重。除了最小化經驗損失之外，DELTA 還可以通過約束由注意力機制精確選擇的特徵圖的子集來對齊兩個網路的外層輸出。實驗結果表明，該方法在新任務中（包括傢俱分類、商品搜尋分類、重疊細胞分類等）實現了更高的準確率，優於傳統的基準水平。該論文已經遞送至 ICLR 2019 。
在和機器之心的交流中，浣軍表示，內部應用和外部產業是 AutoDL 的實際應用場景。內部應用有百度零基礎定製化訓練和服務平臺 Easy DL，一站式開發平臺 AI Studio，以及視覺化大資料分析與開發環境 Jarvis；外部產業運用則有例如工業質量檢測，醫療健康管理等。
自動化機器學習還有很長的路要走，目前剛剛處於研發落地的階段。浣軍表示，百度將在未來重點關注深度神經網路本身的不透明、以及自動設計或會帶來的不易解釋性。
百度深度學習技術平臺部總監馬豔軍在 Workshop 中也同期做了主題演講。他介紹了 2016 年百度開源的深度學習框架 PaddlePaddle，以及它在產業向的應用。
面向企業與開發者的深度學習平臺 PaddlePaddle
2016 年，百度開源 PaddlePaddle 框架，成為國內科技巨頭最早開源的深度學習框架。如今經過兩年的發展，百度 PaddlePaddle 已經走向成熟，成為適合中國開發者和企業的深度學習工具。
今年 7 月，百度開發者大會正式釋出了深度學習平臺 PaddlePaddle 3.0，其中開源的新一代深度學習框架 Paddle Fluid 也在不久前更新到了成熟的 1.1.0 版本。馬豔軍在演講中向 NeurIPS 2018 參會者介紹了以深度學習框架為核心的套件 PaddlePaddle Suite，它為開發者（或非開發者）提供了完整的深度學習開發流程。如下所示 PaddlePaddle Suite 自底向上提供了核心框架、模組和服務平臺「三大件」。
馬豔軍表示，該套件從資料預處理到模型部署為深度學習的整個開發和應用流程提供了完整的工具。其中核心框架是從頭構建模型的基礎，具有安全、高效、表現穩定的特性。而模組與元件可以幫助快速訓練與試驗模型。
他在研討會中介紹道，現如今各行各業都在嘗試運用人工智慧，PaddlePaddle Suite 最頂層的服務平臺會為開發者提供整體流程支援，在他看來，網際網路產業對於人工智慧的採用最多。然而，其他產業在相對缺乏專業人才的情況下，EasyDL 可以為完全沒有基礎的使用者提供自動化的機器學習模型。AI Studio 提供了各種競賽教程與免費 GPU 資源；今年百度 7 月份公佈的 Auto DL 可通過網路結構自動化設計技術讓更多中小企業運用 AI。
馬豔軍在接受機器之心專訪 時曾表示過，「套件中服務平臺、核心框架、模組及元件三部分都是相互有聯絡的，模組與元件都是依託核心框架所做的工具，而平臺是基於核心框架與元件所搭建的系統。例如在元件中，Visual DL 能視覺化整個訓練和測試過程，包括損失函式的變化、模型計算圖和中間生成的影象等。而 PARL 是 深度強化學習 框架性質的元件，它相當於提供了一套強化學習模型、演算法和函式等，這些都還是基於核心框架的。」
此外對於 PaddlePaddle 在技術上的優勢，馬豔軍表示其主要體現在官方模型支援、移動端推理加速和超大規模並行訓練三方面。在官方模型支援上，Paddle 針對推薦系統、視覺任務和自然語言處理等領域維護了大量優秀且穩定的模型。官方支援不僅表示這些模型是沒問題的，同時還表示不論怎樣更新 PaddlePaddle，不論在什麼環境下，這些模型也都是跑得動的。
在移動端加速方面，馬豔軍表示 Paddle Mobile 對移動端硬體的支援基本上是所有框架中最完整的，且現在已經支援最主流的 90% GPU。最後，PaddlePaddle 還在超大規模的並行深度學習上有顯著特色，對超大規模稠密引數和稀疏引數場景都進行了完善的支援，包括大規模異構計算叢集、非同步訓練和同步訓練模式、以及千億級稀疏特徵任務在數百個節點的並行訓練。
此次 Workshop 是百度大資料實驗室主任浣軍博士與聖地亞哥超算中心資深研究員 Dr. Chaitan Baru 共同組織的。Workshop 演講嘉賓還包括 Google Brain 資深演算法工程師 Mr. Quentin de Laroussilhe,Microsoft資深資料工程師 Mr. Olivier D. Martin，和 XPrize 總經理 Dr. Amir Banifatemi。
小結
除了在 NeurIPS Expo 展會環節組織了一場產學研討會，作為本屆大會的白金贊助商，百度在為期一週的 NeurIPS 2018 大會上還有諸多技術展示。據機器之心瞭解，今年百度有數篇論文被 NeurIPS 2018 接收，其中一篇為 Spotlight(3.5%)。此外，在 12 月 2 日的 Expo 中，百度還 demo 演示了他們最新的中英同傳技術。在 Booth 展示中，除了中英同傳技術，百度還向參會者呈現了用於檢測眼底疾病的 AI 眼底相機。
本屆NeurIPS上正在積極地釋放著訊號：加快人工智慧技術落地。產業展會大廳裡絡繹不絕的人群，正能讓我們一窺人工智慧愈發寬廣的產業落地與應用。