1. 程式人生 > >深度學習主機攢機小記

深度學習主機攢機小記

amp 師傅 有一個 好的 折騰 width 升級版 頁面 www.

本文來源網址:http://www.52nlp.cn/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%B8%BB%E6%9C%BA%E6%94%92%E6%9C%BA%E5%B0%8F%E8%AE%B0

Update: 這篇文章寫於一年以前,這一年深度學習的大潮繼續推進,1080也升級到1080TI了,攢機也有了更多更好的選擇。最近更新了一篇文章:《從零開始搭建深度學習服務器:硬件選擇》,可以看完下文後(主要提供了一些選擇的思路),再來看最新的這篇(主要提供了一些配置選擇),相得益彰。另外強烈不推薦雷霆世紀的主機,售後服務嚴重不靠譜。

2016年5月中下旬的時候,GTX1080的公布和發售直接刺激了我攢一臺深度學習主機的欲望,攢機對於我來說已經相隔十多年,大學時候的第一臺PC就是攢出來的,其實也就是在5000元的預算內,去電腦城裏找商家組裝了一臺臺式機,美其名曰DIY。

雖然已經鎖定顯卡,但是對於其他的搭配還是很模糊,只是需要“好CPU”,“大內存", “大硬盤", 於是開始google “深度學習電腦”,“深度學習服務器”,“深度學習PC”, “深度學習主機”,“深度學習機器”,“深度學習工作站”這些關鍵詞,並很快鎖定了這篇文章《如何搭建一臺深度學習服務器》作為主要參考:

硬件選擇:基本思路是單顯卡機器,保留升級空間

......

CPU選擇:
在深度學習任務中,CPU並不負責主要任務,單顯卡計算時只有一個核心達到100%負荷,所以CPU的核心數量和顯卡數量一致即可,太多沒有必要,但是處理PCIE的帶寬要到40。

主板選擇:
需要支持X99架構,支持PCIe3.0,還要支持4通道DDR4內存架構。如果要搞四顯卡並行,PCIE帶寬支持要達到40,並且支持4-Way NVIDA SLI技術。

內存:
達到顯存的二倍即可,當然有錢的話越大越好。

電源問題:一個顯卡的功率接近300W,四顯卡建議電源在1500W以上,為了以後擴展,選擇了1600W的電源。

機箱散熱:
因為各種部件相當龐大,需要有良好散熱功能的大機箱,選擇了Tt Thermaltake Core V51機箱,標配3個12cm風扇。未來如果需要還可以加裝水冷設備。

......

最後的硬件配置:
CPU: Intel X99平臺 i7 5960K
內存: DDR4 2800 32G(8G*4)
主板: GIGABYTE X99-UD4
顯卡: GTX Titan X
硬盤: SSD+普通硬盤

按照這篇文章的配置,在淘寶查了一下相關價格,這個配置大概20000+的水平,如果作者再搞個4路顯卡並行,絕對土豪。不過這裏面的i7 5960K很少見,應該對應的是i7 5960X。

對於我來說,主要是圍繞著GTX1080來配置深度學習服務器,不過這個時候上文所說的一些概念還比較模糊,於是以一個遊戲玩家的身份跑了一趟電腦城,當我向商家說明來意,要配置一個GTX1080主機時,商家除了紛紛表示GTX1080貨源緊缺,需要預定外,也有的會在打完幾個電話後告訴我有現貨但需要加價,極端的一個例子是華碩的公版GTX1080當時加到了6900。不過幾乎無一例外,他們給的配置清單基本上是這樣的:

CPU: Intel i7 6700K
內存: DDR4 32G(8G*4)
主板: 華碩Z170-P or Z170-AR
顯卡: GTX 1080
硬盤: SSD+普通硬盤
......

加上其他配件,大概12000+的樣子。當然,我只是通過市場調研一下,並不急於入手,於是回到家裏,繼續google。

i7-6700K 是去年發布的6代酷睿i系列處理器,它最大的變化是 “14nm工藝+新架構(Skylake),對於老態龍鐘的Haswell有著工藝和架構的雙‘料‘改進!新架構意味著同頻性能更強,新工藝意味著功耗更低”。另外i7-6700K是“四核心八線程、8MB三級緩存,CPU頻率基準4.0GHz、最高4.2GHz,總線支持十六條PCI-E 3.0,內存支持雙通道DDR4-2133、DDR3L-1600”。特別註意這裏的PCIE 3.0,總計只有16條,這個就很有局限了。同樣它所支持Z170等系列主板,無論在顯卡支持數量和最大內存容量上都不如X99的可擴展性強。譬如這裏的華碩Z170主板,必須是Z170-A或者在Z170-AR才能支持雙路顯卡,稍差一點的Z170-P僅支持一個顯卡。內存插槽上,Z170多是4個,而X99一般都是8個。

於是將目光又一次轉向了X99平臺,重新審視了i7-5960X, i7-5930K, i7-5820k這幾個兩年前英特爾發布的22納米工藝的Haswell-E系列的CPU。下面這幅圖其實一目了然:

技術分享

註意其中的PCIE-3.0個數,5960x和5930k都是40,而5820K只有28,這樣的話“具備完整的40條PCI-E的i7-5960X和i7-5930K可以以“x16+x8+x8+x8”的帶寬分配方式組建四路的SLI或者CrossFire,而“小弟”i7-5820K最多只能組建“x16+x8”或“x8+x8+x8”的雙路或者三路顯卡並聯系統。”

顯然,在可擴展性上,5960x和5930k更好,不過在價格上自然也有區分,目前淘寶上5960x大概7000左右,5930k在4000左右,5820k在2700左右。

對於我來說,還沒有打算做多路顯卡並聯,但是為了可擴展性,所以初步選擇了5390k或者5820K作為CPU備選。但是最大的問題還是GTX1080的貨源問題,淘寶天貓上全是預定,托朋友關系咨詢當地技嘉總代,拿GTX1080必須搭配其他顯卡銷售,不過有個很優惠的價格可以拿到 GTX Titan X ,為此還在微博上咨詢了一下是選擇GTX1080還是GTX Titan X,李沐M和其他幾個同學的回答基本讓我確定等待GTX1080。另外李沐大神有幾篇關於GPU的文章,不過都是超級土豪的,感興趣的同學可以參考。

之前曾google到一篇GTX1080機器的文章:國產首款GTX 1080遊戲PC開售,不過當時對這些配置還無感,調研了一番回頭再看的時候,發現雷霆世紀所推的這款GTX1080主機性價比超高,可惜這個主機第一輪預定完之後到目前為止一直顯示無貨:

CPU:Intel i7-6800K(6核12線程)
主板:華碩X99-E
顯卡:GTX 1080
SSD:三星SM951 256G(M.2接口)
電源:海韻X-850 850W(80 PLUS全模組)
機箱:迎廣805C紅 中塔式機箱(鋁合金,雙面鋼化玻璃側透)
散熱:采融B81 V2黑色雷霆定制版(純銅底、6熱管、PMW風扇)
內存:自行購買(DDR4)
系統:預裝Windows 10測試版系統

這套配置裏面提到了i7-6800K,查了一下,是最近Intel剛剛推出的發燒級桌面處理器Broadwell-E系列中的一員:

技術分享

網上有評論i7-6800k是i7-5820k的升級版,雖然同樣支持X99架構主板,但是同樣的問題也是PCIE-3.0個數只有28個。不過同為升級版,不差錢的同學可以考慮將上文中i7-5960X的配置替換為Broadell-E系列裏的旗艦產品i7-6950X,10核心20線程頂級配置,淘寶報價目前在15000左右。

雷霆世紀這款GTX1080主機雖然很誘惑,但是一直顯示無貨,不過在瀏覽相關的產品的時候發現另一款 “The one 2 Plus自由版” ,除了沒有顯卡,主板型號略微有點差異外,其他配置和上一款GTX1080機器基本相同,當然都沒有內存。此時恰逢京東618期間的活動,價格比原價7488還低了600,6888可以搞定,稍微淘寶了一下相關的配件價格,粗略計算自己配的話大概需要8500+,所以馬上付定金預定。當時的頁面顯示,6.26號付全款,6.28號之後按付款順序發貨。

所以必須等了,不過這期間一個朋友通過種種努力在當地技嘉總代幫我搞定了一塊非公版GTX1080顯卡:技嘉GTX1080 G1 GAMING ,於是,在拿到顯卡的當天,發了一條微博:為信仰充值。之後又在淘寶上買來了4條16G內存條和一塊4T硬盤(組SSD+普通硬盤),外加顯示器和鼠標硬盤,這套所謂的GTX1080深度學習主機配置是這樣的:

CPU:英特爾(Intel)酷睿六核i7-6800K 2011-V3接口 盒裝CPU處理器
主板:華碩(ASUS)X99-A/USB 3.1 主板 (Intel X99/LGA 2011-v3)
顯卡:技嘉GTX1080 G1 GAMING 非公版
硬盤:三星 SM951 M.2 256G SSD + 西部數據 WD40EZRZ 4T臺式機硬盤(藍盤64M)
內存:64G 金士頓駭客Fury DDR4 2400 16G單條 * 4
機箱:迎廣(IN WIN)805c紅 ATX中塔式機箱 黑紅色 鋁合金/鋼化玻璃/雙面側透(U2*2+U3*1+U3.1*1)
電源:海韻(Seasonic)額定850W X-850 電源(80PLUS金牌/全模組/全日系電容/支持SLI/支持背線)
散熱器:采融 B81 V2(黑色)

總計15000多一點:主要配置(6888)+ 顯卡(5000)+ 4條內存(1800,最近內存漲得比較猛)+ 硬盤(780)+ 顯示器(800)。前幾天終於拿到主機,並找來雷霆售後師傅幫我把散熱、內存、顯卡、硬盤安裝調試好,系統預裝的是Windows10試用版,當然,很快它就會被Ubuntu取代,最後上幾張圖:

技術分享

技術分享

技術分享

技術分享

參考資料:

如何搭建一臺深度學習服務器:http://www.r-bloggers.com/lang/chinese/2042
GPU集群折騰手記——2015:http://mli.github.io/gpu/2016/01/17/build-gpu-clusters/
Nvidia新的Pascal值不值得買(升級):http://mli.github.io/2016/06/14/new-pascal/
如何配置一臺適用於深度學習的工作站:https://www.zhihu.com/question/33996159
Which GPU(s) to Get for Deep Learning: http://timdettmers.com/2014/08/14/which-gpu-for-deep-learning/
A Full Hardware Guide to Deep Learning:http://timdettmers.com/2015/03/09/deep-learning-hardware-guide/
Building a Deep Learning (Dream) Machine:http://graphific.github.io/posts/building-a-deep-learning-dream-machine/
Reddit: gtx1080 vs 1070 for machine learning?

註:原創文章,轉載請註明出處及保留鏈接“我愛自然語言處理”:http://www.52nlp.cn

本文鏈接地址:深度學習主機攢機小記 http://www.52nlp.cn/?p=9081

相關文章:

    1. 深度學習主機環境配置: Ubuntu16.04+Nvidia GTX 1080+CUDA8.0
    2. 深度學習主機環境配置: Ubuntu16.04+GeForce GTX 1080+TensorFlow
    3. 深度學習服務器環境配置: Ubuntu17.04+Nvidia GTX 1080+CUDA 9.0+cuDNN 7.0+TensorFlow 1.3
    4. 從零開始搭建深度學習服務器: 基礎環境配置(Ubuntu + GTX 1080 TI + CUDA + cuDNN)
    5. 從零開始搭建深度學習服務器:硬件選擇
    6. Andrew Ng 深度學習課程小記
    7. 反向傳播算法入門資源索引
    8. Andrew Ng (吳恩達) 深度學習課程小結
    9. 斯坦福大學深度學習與自然語言處理第一講:引言
    10. 斯坦福大學深度學習與自然語言處理第四講:詞窗口分類和神經網絡

深度學習主機攢機小記