1. 程式人生 > >亞馬遜是如何研究和量化機器學習

亞馬遜是如何研究和量化機器學習

http 圖片 深度學習 似的 賺錢 結果 width 會有 china

在今日於北京召開的《麻省理工科技評論》新興科技峰會EmTech China上,作為亞馬遜旗下最賺錢雲服務部門 AWS 的核心人物,亞馬遜AWS首席科學家Animashree Anandkumar解讀我們該如何研究和量化機器學習。技術分享圖片

技術分享圖片

深度學習需要經過多層甚至數百層的處理過程,機器學習也會在不同的GPU,進行跨機器、跨設備處理,這就需要網絡技術。

而多域模型能夠幫助我們同時處理科學、工程,各種領域方面的應用。亞馬遜就一直致力於尋求機器學習多域模型的解決方案,以及多領域的應用如何能夠在雲上進行計算。

技術分享圖片

以下為Animashree Anandkumar分享的亞馬遜是如何運作當前的深度學習模式:

深度學習有很廣泛的運用領域,我們有一些專門的項目會應用到不同的硬件基礎設施中。Mxnet就是其中的一個深度學習引擎,這個項目首先由大學裏的研究員開發,現在我們正在AWS開發這個引擎。

這個引擎的優點是顯而易見的。它建立了一個網絡,讓編程過程、表述、特征描述、風格都非常靈活、方便,提高了程序員的效率。同時也提供了很好的語言支持,且前後端自動對接,提高了編程的效率。

這個網絡有一些固定的數據,相互連接的層級會在輸入和輸出之間進行連接。在計算順序方面,他們有一定的序列關系,我們制定了圖表來自動進行平行的對比。它還實現了記憶進行自動化,這樣在代碼運算時也提高了效率。

我們也用多GPU的訓練提升效率。一個機器上面會有多個GPU進行數據並行化,可以同時獲得大量的數據。中央數據是來自於不同CPU等級上面的網絡,數據不斷地向下劃分,進入各個GPU。

GPU需要進行處理時發現了相似的內容就會進行整合,也增加了我們的效率。GPU可以在Mxnet上面整合運算結果,這樣成本也比較低。同時我們也提升了Mxnet的性能。增加了GPU以後,整個輸入輸出效率也會翻番。這是在AWS基建上運行的,包括B2X和B22X。

技術分享圖片

所有的服務裏面, Mxent的效率最高,達到了91%,包括Resnet和Inception v3和Alexnet。這是有多個GPU的單一基體。在多基體上每一個機器都有16個GPU,組合到一起後,所有的數據經過網絡就會影響效率。但我們的效率並沒有降低很多,因為Mxnet的打造非常緊密,可以提升效率。所以我們可以進行這種分布式的多機器的訓練。這

些現在也可以應用於一些情景的運行以及我們多GPU和CPU的框架之中。我們也希望可以提供這樣的技術給我們的消費者,讓他們知道我們分布式的訓練有非常好的技術包裹,可以幫助我們進行網絡壓縮以及網絡解壓,提供好的技術服務。

所有的這些框架,都可以應用於我們的機器學習平臺CHMaker。這是多機器學習的一個平臺,所有的分布式深度學習框架都可以在這個平臺上進行運行,比如說TensorFlow、Mxnet。我們的平臺除MxNet之外可以支持所有的框架,我們希望可以給我們的用戶更多靈活的選擇。

除此之外,DeepLens也是我們最近發布的第一款深度學習的攝像頭,可以提供很多的服務,比如語言、語句、計算機視覺等。使用者不需要培訓自己的學習模型,完全可以使用我們的服務。我們整個系統都具有很多的解決方案。

亞馬遜是如何研究和量化機器學習