大數據+並行計算+分布式計算知識點整理
阿新 • • 發佈:2018-08-21
數據 數據量 復雜度 文件 復雜 大數據 消息 並行 back
1、請簡要介紹一下Hadoop、Spark、MPI三種計算框架的特點以及分別適用什麽樣的場景?
Hadoop:基於分布式文件系統HDFS的分布式批處理計算框架,適用於數據量大、SPMD(單程序多數據)的應用
Spark:基於內存計算的並行計算框架,適用於需要叠代多輪計算的應用
MPI:基於消息傳遞的並行計算框架,適用於各種復雜應用的並行計算,支持MPMD(多程序多數據),開發復雜度高。
大數據+並行計算+分布式計算知識點整理