1. 程式人生 > >資源管理(大資料):Zookeeper、 Yarn簡介、原理

資源管理(大資料):Zookeeper、 Yarn簡介、原理

https://blog.csdn.net/wzk646795873/article/details/79583218

Zookeeper

Zookeeper是一個分散式協調服務,一個leader,多個follower組成的叢集,就是為使用者的分散式應用程式提供協調服務。

Zookeeper是為別的分散式程式服務的。

Zookeeper所提供的服務涵蓋:主從協調、伺服器節點動態上下線、統一配置管理、分散式共享鎖、統一名稱服務等。


Yarn

Yarn目標:YARN的目標就是實現“一個叢集多個框架”,即在一個叢集上部署一個統一的資源排程管理框架YARN,在YARN之上可以部署其他各種計算框架。

由YARN為這些計算框架提供統一的資源排程管理服務,並且能夠根據各種計算框架的負載需求,調整各自佔用的資源,實現叢集資源共享和資源彈性收縮。

可以實現一個叢集上的不同應用負載混搭,有效提高了叢集的利用率。

不同計算框架可以共享底層儲存,避免了資料集跨叢集移動。

組成:


Resource Manager:

是一個全域性的資源管理器,負責整個系統的資源管理和分配,主要包括兩個元件,即排程器(Scheduler)和應用程式管理器(Applications Manager)。排程器接收AM應用資源請求,並把動態資源以容器(Container)分配。

AManager負責應用管理工作,主要包括應用程式提交、與排程器協商資源以啟動AMaster、監控AMaster執行狀態、並在失敗時重新啟動。

(1) 處理客戶端請求。

(2) 啟動/監控ApplicationMaster。

(3) 監控NodeManager。

(4) 資源分配與排程。

備註: ApplicationMaster,可為應用程式申請資源,並分配給記憶體服務;任務排程、監控與容錯。

NodeManager:

(1)單個節點上的資源管理。

(2)處理Application Master或ResourceManager的命令。

備註:容器生命週期管理、監控每個容器的資源(CPU、記憶體等)使用情況、以心跳的形式與ResourceManager保持通訊。
---------------------
作者:BigSun0
來源:CSDN
原文:https://blog.csdn.net/wzk646795873/article/details/79583218
版權宣告:本文為博主原創文章,轉載請附上博文連結!