1. 程式人生 > >大數據+並行計算+分布式計算知識點整理

大數據+並行計算+分布式計算知識點整理

數據 數據量 復雜度 文件 復雜 大數據 消息 並行 back

1、請簡要介紹一下Hadoop、Spark、MPI三種計算框架的特點以及分別適用什麽樣的場景?

Hadoop:基於分布式文件系統HDFS的分布式批處理計算框架,適用於數據量大、SPMD(單程序多數據)的應用

Spark:基於內存計算的並行計算框架,適用於需要叠代多輪計算的應用

MPI:基於消息傳遞的並行計算框架,適用於各種復雜應用的並行計算,支持MPMD(多程序多數據),開發復雜度高。

大數據+並行計算+分布式計算知識點整理