1. 程式人生 > >hadoop 2.5.0 capacitySchedule Application Queues 引數解析

hadoop 2.5.0 capacitySchedule Application Queues 引數解析


web UI中佇列各項引數含義:

Queue State:RUNNING  


Used Capacity:0.0%  已使用資源佔佇列配置值的百分比


Absolute Used Capacity:0.0%  已使用資源佔叢集的百分比


Absolute Capacity:90.0% 叢集最小可使用容量


Absolute Max Capacity:100.0% 叢集最大可使用資源量


Used Resources:<memory:0, vCores:0>


Num Schedulable Applications:0  正在被排程的應用


Num Non-Schedulable Applications:0  沒有被排程的應用


Num Containers:0  已啟動容器數量


Max Applications:9000 最大可執行的應用數量(處於pending和running狀態的,比如配置最大執行量

yarn.scheduler.capacity.maximum-applications 為10000,Absolute Capacity為90%,則這個值為9000(這個就是個擺設,實際取決於叢集大小和相關的配置)


Max Applications Per User:9000 單使用者最大可執行應用


Max Schedulable Applications:36 叢集最大可排程應用數量,取決於記憶體總量,應用最小記憶體分配,am可用資源佔比。(例如:記憶體總量360G,

yarn.scheduler.minimum-allocation-mb 為1024M,yarn.scheduler.capacity.maximum-am-resource-percent 為0.1,則此值為360*0.1/1=36


Max Schedulable Applications Per User:33  單個使用者最大可排程應用數量。(Max Schedulable Applications 該佇列capacity佔比 單使用者可使用佇列資源佔比


Configured Capacity:90.0% 配置該佇列capacity


Configured Max Capacity:100.0% 配置該佇列

最大可使用capacity


Configured Minimum User Limit Percent:100% 單使用者可使用佇列資源百分比


Configured User Limit Factor:1.0    每個user最多可以使用幾個其他queue的資源


Active users: