1. 程式人生 > >大資料面試題分享之spark面試題

大資料面試題分享之spark面試題

一  什麼是spark

Spark是大資料的排程,監控和分配引擎。它是一個快速通用的叢集計算平臺.Spark擴充套件了流行的MapReduce模型.Spark提供的主要功能之一就是能夠在記憶體中執行計算 ,但對於在磁碟上執行的複雜應用程式,系統也比MapReduce更有效。

二  Spark執行模式介紹(下述結論基於Spark2.1.0版本和hadoop2.7.3版本)

1  測試或實驗性質的本地執行模式 (單機)

2   測試或實驗性質的本地偽叢集執行模式(單機模擬叢集)

3     Spark自帶Cluster Manager的Standalone Client模式(叢集)

4     spark自帶cluster manager的standalone cluster模式(叢集)

5     基於YARN的Resource Manager的Client模式(叢集)

6     基於YARN的Resource Manager的Custer模式(叢集)

具體內容後續補充: