1. 程式人生 > >hadoop與cuda的幾點思考

hadoop與cuda的幾點思考

分散式計算的hadoop與cuda的幾點思考

最近學習分散式計算,突然想到一個問題,hadoop 和cdua有什麼關係。為什麼有的問題要平行計算,交給GPU處理,而現在GPU程式設計的主體是cuda平行計算,有的交給分散式hadoop處理?

學習後,受到點啟發, 覺得應該是這樣的:

首先有兩種情況:資料密集型、計算密集型
1.資料密集型:數量大,但是對每一條資料的處理並不一定麻煩,比如,對1T的檔案統計字數,可以交給10臺機器分別統計。

2.計算密集型:數量並不一定大,但是對每條資料的計算量非常大,比如對影象訓練的深度神經網路。
 實現基於機器學習的自動的智慧化資料價值挖掘是大資料和Hadoop最誘人的願景了,也就是將資料密集型和計算密集型工作都整合到hadoop自身,這也是很多企業對大資料平臺的最終期望。隨著可獲得的資料越來越多,未來大資料平臺的價值更多的取決於其計算人工智慧的程度。