1. 程式人生 > >Yarn資源調度管理

Yarn資源調度管理

信息 ask 進程 節點管理 res 定時 nag 需要 size

1.ResourceManager(資源管理器RM)常駐守護進程:
  管理集群資源,負責全局資源的監控、分配和管理;
  接收來自nodemanager的心跳信息,進行整體資源的匯總;
  監控Applicacation Master的開啟和創建;

2.Nodemanager(節點管理器NM)常駐守護進程:
  yarn中的每一臺節點服務器都運行一個nodemanager,Nodemanager相當於管理當前機器的一個代理;
  負責本臺機器的程序運行,並且對本臺機器資源進行管理和監控;
  Nodemanager定時向ResourceManager匯報本節點的資源(cpu、內存)使用情況;


  啟動並監控Container(容器);

3.Applicacation Master(應用節點)守護進程:
  用戶提交一個應用將會產生相對應的Applicacation Master(AM),AM常駐在  Nodemanager上;
  每個AM都需要與Nodemanager進行資源協商,將獲取所需的資源(Container)用於任務(Task)的運行
  監控任務(Task)的運行情況;
  如果Task運行失敗,它將負責為其重新申請資源和啟動任務;

4.yarn調度方式

  1.先進先出調度

  2.容量調度

  3.公平調度

Yarn資源調度管理