來自首次Ray聚會的記錄

由於大量的標記資料集、面向資料科學家的語言（R、Julia、Python）、諸如scikit-learn、PyTorch、TensorFlow等的框架以及用於構建支援端到端應用的基礎架構工具越來越多地出現， 機器學習正在被加速採用 。雖然無監督學習的一些有趣應用開始出現，但當前大多數的機器學習應用依然依賴於監督學習。在最近的 一系列博文 中，Ben Recht 說明 了為什麼一些最有趣的問題可能實際上屬於強化學習（RL）的範疇。特別是那些能夠根據過去的資料採取行動的系統，使用強化學習能讓它們以更安全、魯棒和可靠的方式執行。

但是，首先我們要能有從業人員可用的強化學習的工具。不像監督學習，在過去一段時間裡，並沒有一個開源工具可以讓大家很容易地嘗試大規模強化學習。我認為現在不同了。我非常幸運地被邀請參加首次專門針對 Ray 的聚會。Ray是 RISE實驗室 開發的高效能分散式的計算引擎，專門針對新出現的人工智慧應用，也包括那些依賴強化學習的應用。這個聚會是由 OpenAI 組織的一個小型、只邀請參加的聚會。大部分與會人員都對強化學習非常感興趣。

下面是這次聚會的一個簡要概述。

• Robert Nishihara 和 Philipp Moritz 對Ray專案做了簡單的概述和進展更新。也講述了Ray專案近期路線圖裡的一些專案的情況。
• Eric Liang 和 Richard Liaw 針對構建於Ray上的兩個庫做了簡要的教學講解。這兩個庫是 RLib （針對可擴充套件的強化學習）和 Tune （一個超引數調優框架）。他們也介紹了最近一篇關於 RLib的ICML的論文 。這兩個庫對於熟悉Python的人而言都很容易使用，而且會在資料科學家群體內變的流行起來。

圖1 RLib和強化學習。圖片由RISE實驗室友情提供

• Eugene Vinitsky 展示了一些不錯的視訊。它們講述了Ray是如何幫助他們實時地理解和預測交通流量模型，以及Ray是如何幫助研究人員 研究大型交通網路 的。這些視訊是我所見過的整合IoT、感測器網路和強化學習的最好的例子。
• 來自螞蟻金服的Alex Bao 講述了他們找到的應用Ray的三個場景。我不太確定我是否可以在這裡透露這些場景。但是它們都是非常有趣和重要的場景。 這個夜晚最重要的收穫是螞蟻金服已經在三個場景中的兩個的生產系統裡使用了 Ray 。而且他們也已經即將在第三個場景裡部署 Ray 了。 鑑於 螞蟻金服 是 世界上最大的獨角獸公司 ，這可以說是對Ray的最佳背書。

根據這個夜晚的演講人所提供的資訊以及已經出現的生產系統裡的早期案例，我認為本次Ray聚會將點燃其他地區對Ray的熱情。我們尚處於採用機器學習技術的早期階段。本次聚會的演講驗證了：一個類似Ray這樣可獲取和可擴充套件的平臺可以激發出很多強化學習和線上學習的應用。

想更多瞭解Ray：

• 訪問 Ray專案在GitHub上的網頁
• 參加在 2018年9月5日在舊金山 （或 10月9日在倫敦 ）召開的人工智慧大會上3小時長的教學議程“用Ray來構建強化學習應用”。
• 《 RLib庫簡介：一個可組合和可擴充套件的強化學習的庫 》
• Robert Nishihara和Philipp Moritz的 O’Reilly資料播客秀 《 Ray是如何讓持續學習可觸及和更容易擴充套件 》