PyTorch大更新！谷歌出手幫助開發，正式支援TensorBoard | 附5大開源專案

摘要： 邊策 乾明 發自 凹非寺 量子位 報道 | 公眾號 QbitAI 大家又少了一個用TensorFlow的理由。 在一年一度的開發者大會F8上，Facebook放出PyTorch的1.1版本，直指TensorFlow“腹地”。 不僅宣佈支援TensorFlow的視...

大家又少了一個用TensorFlow的理由。

在一年一度的開發者大會F8上，Facebook放出PyTorch的1.1版本，直指TensorFlow“腹地”。

不僅宣佈支援TensorFlow的視覺化工具TensorBoard，還正式向工業界邁進，為生產環境改進了PyTorch處理分散式訓練的方式。

而且，根據Facebook介紹，開發這一版本的過程中谷歌還幫了不少忙。

科技媒體TechCrunch評論稱，雖然版本號只從1.0到1.1的變化，但依舊非常重要。

此外，圍繞著打造“開發和協作的AI社群”的願景，Facebook還介紹了5大開源工具。

同時，他們也分享了Facebook在自家程式中應用AI的情況，以及對AI研究的展望。

下面，我們一個個來看~

Pytorch大更新

與2018年12月正式釋出的Pytorch1.0相比，這次釋出的1.1版本提高了效能，並增加了新的模型理解和視覺化工具，來提高可用性，還提供了新的API。

其中，最重要的功能是支援TensorBoard，它是谷歌為TensorFlow打造的視覺化工具，能夠幫助開發人員評估和除錯模型。

根據Facebook介紹，在開發這一功能的時候，他們與谷歌有非常密切的合作。

現在，Pytorch使用一個簡單的“from torch.utils.TensorBoard import SummaryWriter”命令來支援TensorBoard。

其他的更新還有：

• Jit編譯器：改進了Just-in-time(JIT)編譯。包括各種錯誤的修復以及TorchScript中擴充套件的功能，例如對字典、使用者類和屬性的支援。

• 新API：支援布林張量，更好地支援自定義迴圈神經網路。

• 分散式訓練：改進了常見模型 （如CNN） 的效能，增加了對多裝置模組的支援，包括在仍使用分散式資料並行 （DDP） 的情況下跨GPU分割模型的能力，以及對並非所有引數都用於每次迭代的模組的支援 （如控制流，如自適應SoftMax等） 。

關於本次更新，Pytorch在下面的GitHub文件中進行了詳細的解釋，請收好傳送門：

https://github.com/pytorch/pytorch/releases/tag/v1.1.0

對於這次更新，PyTorch的產品經理Joe Spisa表示，他們並不是要將PyTorch變成金錢，而是希望PyTorch擁有一個社群。

他表示，現在這個社群正開始從一個 以研究為中心的社群 向 生產型的社群 轉變，而且轉變速度也在快速增長。

PyTorch路線圖的下一步是，以更少的位元數執行神經網路，實現更快的CPU和GPU效能，並支援AI從業者建立命名張量維數。

5大開源工具

為了更好地建設AI社群，今年的F8大會上，Facebook還開源了5大工具：Ax、BoTorch、idb、Memscout、Mvfst。

Ax

Ax是一個可訪問的通用自適應實驗平臺，用於管理、部署和自動化實驗。

該平臺利用BoTorch提供的最新進展，使開發人員更容易優化其產品和基礎設施。Ax還降低了貝葉斯優化（Bayesian optimization）、多臂老虎機（multiarmed bandit）和其他複雜實驗技術的門檻，幫助研究人員將想法從研究轉向生產。

地址：https://ax.dev/

BoTorch

BoTorch是PyTorch上的貝葉斯優化軟體庫，為Ax優化模型引數提供支援。

BoTorch將模組化設計和PyTorch的自動微分特性基於蒙特卡羅的提取函式使用相結合，顯著提高了開發人員的效率。

BoTorch具有與任何PyTorch模型整合的能力，在貝葉斯優化和深度學習中實現高度靈活性、便利的研究。

地址：https://botorch.org/

以上兩種工具已經在Facebook內部大規模部署，Facebook用它們改善資訊流推薦和視訊播放。

idb

idb（iOS development bridge）是自動化iOS模擬器和裝置的命令列介面。它提供的簡單原始的API，輕鬆構建複雜的工作流。idb還有客戶機-伺服器架構，可以更容易地在一組機器之間分配工作。

地址：https://github.com/facebook/idb

Memscout

Memscout是一個分析工具，它是jemalloc記憶體分配器的伴侶。Memscout為正在執行的流程的解釋jemalloc統計檔案（JSON格式）原始資料，並突出顯示相關指標。

它會發現分配器的低效率，並提供對流程記憶體分配模式的深入觀察，然後提供可用於快速診斷與記憶體相關的效能問題的統計資訊。

地址：https://github.com/facebookincubator/memscout

Mvfst

Mvfst是QUIC傳輸協議的實現。mvfst的目標是構建最靈活、高效能的傳輸協議，讓應用程式可以適應網際網路上和資料中心內的用例。

它的特性包括流多路複用、0-RTT連線的建立，更好的損失恢復、從頭開始的安全性以及靈活的擁塞控制。

地址：https://github.com/facebookincubator/mvfst

用AI改善使用者體驗

Facebook資訊流可以說是國外的“朋友圈”，裡面有太多的假新聞和有害資訊，扎克伯格也因此受到美國國會質詢。

所以Facebook的AI工具一個重要的用途就是用來識別和處理社交網路上有害的言論、照片和視訊。

一個具體例子是新的“最近鄰”演算法。Facebook用這種演算法發現色情暴力圖片比以前快8.5倍。

另一個例子是開源工具包LASER。Facebook用它來訓練單一模型以理解大量不同語言，而不必為每一種語言使用不同的模型，它可以檢測使用者是否釋出違反社交網路政策的言論。

在視訊中發現有害資訊的難度比照片高出幾個數量級，Facebook的新技術能將其分解為短片段，去掉其中冗餘和不相關的內容。這種更有針對性的分析和訓練使得AI理解視訊更快，更準確。

One More Thing

目前，Facebook正在大力發展自監督學習技術，將未標記資料與少量標記資料結合使用，以提高機器學習的準確性。

所謂的“自監督學習”就是我們說的“無監督學習”。

Facebook首席AI科學家Yann LeCun說，把“自監督”說成“無監督”是具有誤導性的，因為自監督學習比監督學習使用更多的監督訊號，並且遠遠超過強化學習。

自監督學習在自然語言處理方面取得了巨大成功。在LeCun看來，在影象和視訊上使用這項技術未來幾年ML和AI的最大挑戰。