1. 程式人生 > >capacity-scheduler.xml yarn容量調度配置文件

capacity-scheduler.xml yarn容量調度配置文件

run rop 容器 nod contain mas desc cep out

<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
--> <configuration> <property> <name>yarn.scheduler.capacity.maximum-applications</name> <value>10000</value> <description>最多可同時處於等待和運行狀態的應用程序數目</description> </property> <property> <name>yarn.scheduler.capacity.maximum-am-resource-percent</
name> <value>1</value> <description>集群中可用於運行application master的資源比例上限,這通常用於限制並發運行的應用程序數目.</description> </property> <property> <name>yarn.scheduler.capacity.root.queues</name> <value>default</value> <description>
root隊列的所有子隊列,該實例中只有一個</description> </property> <property> <name>yarn.scheduler.capacity.root.default.capacity</name> <value>100</value> <description>default隊列的資源容量</description> </property> <property> <name>yarn.scheduler.capacity.root.default.user-limit-factor</name> <value>1</value> <description>每個用戶可使用的資源限制</description> </property> <property> <name>yarn.scheduler.capacity.root.default.maximum-capacity</name> <value>100</value> <description>Default隊列可使用的資源上限.</description> </property> <property> <name>yarn.scheduler.capacity.root.default.state</name> <value>RUNNING</value> <description>Default隊列的狀態,可以是RUNNING或者STOPPED.</description> </property> <property> <name>yarn.scheduler.capacity.root.default.acl_submit_applications</name> <value>*</value> <description>限制哪些用戶可向default隊列中提交應用程序."*"表示任意用戶</description> </property> <property> <name>yarn.scheduler.capacity.root.default.acl_administer_queue</name> <value>*</value> <description>限制哪些用戶可管理default隊列中的應用程序,“*”表示任意用戶</description> </property> <property> <name>yarn.scheduler.capacity.node-locality-delay</name> <value>-1</value> <description> 調度器嘗試調度一個rack-local container之前, 最多跳過的調度機會,通常而言,該值被設置成集群中機架數目,默認情況下為-1,表示不啟用該功能. </description> </property> <property> <name>yarn.scheduler.capacity.resource-calculator</name> <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value> <description> ResourceCalculator用於比較調度程序資源的, 默認的即是DefaultResourceCalculator,默認只關註內存和CPU資源 </description> </property> <property> <name>yarn.scheduler.capacity.root.default.acl_application_max_priority</name> <value>*</value> <description> 指定哪個用戶可以提交具有配置任務優先級的應用 For e.g, [user={name} group={name} max_priority={priority} default_priority={priority}] </description> </property> <property> <name>yarn.scheduler.capacity.root.default.maximum-application-lifetime</name> <value>-1</value> <description> 以秒為單位提交給隊列的應用程序的最大生命周期. 任何小於或等於零的值將被視為禁用. 對於此隊列中的所有應用程序,這將是一個困難的時間限制. 如果配置了正值,那麽提交到該隊列的任何應用程序將在超過配置的生命周期後被終止. 用戶還可以在應用程序提交上下文中指定每個應用程序的壽 但是,如果超過隊列最大生命周期,則用戶生存期將被覆蓋. 這是時間點配置. 註意:配置太低會導致應用程序更快被中斷. 該功能僅適用於葉隊列 </description> </property> <property> <name>yarn.scheduler.capacity.root.default.default-application-lifetime</name> <value>-1</value> <description> 以秒為單位提交給隊列的應用程序的默認生存期. 任何小於或等於零的值將被視為禁用. 如果用戶沒有提交具有生命周期值的應用程序,則將取這個值. 這是時間點配置. 註意:默認的生命周期不能超過最大生存期. 該功能僅適用於葉隊列. </description> </property> <property> <name>yarn.scheduler.capacity.rack-locality-additional-delay</name> <value>-1</value> <description> 在節點本地延遲時間之外的另外的錯過的調度機會的次數,在此之後,CapacityScheduler嘗試調度非切換容器而不是機架本地容器. 例如:在node-locality-delay = 40和rack-locality-delay = 20的情況下, 調度器將在40次錯過機會之後嘗試機架本地分配,在40 + 20 = 60之後錯過機會. 設置此參數時,應考慮到群集的大小. 我們使用-1作為默認值,禁用此功能. 在這種情況下,根據資源請求中指定的容器和唯一位置的數量以及集群的大小, 計算分配關閉交換容器的錯失機會的數量. </description> </property> <property> <name>yarn.scheduler.capacity.queue-mappings</name> <value></value> <description> 將用於將作業分配給隊列的映射列表. 這個列表的映射語法: [u|g]:[name]:[queue_name][,next mapping]* 通常這個列表將被用來映射用戶到隊列. 例如, u:%user:%user 映射所有用戶以與用戶相同的名字排隊. </description> </property> <property> <name>yarn.scheduler.capacity.queue-mappings-override.enable</name> <value>false</value> <description> 如果存在隊列映射,它是否會覆蓋用戶指定的值? 管理員可以使用此項將作業放入與用戶指定的隊列不同的隊列中. 默認值是false. </description> </property> <property> <name>yarn.scheduler.capacity.per-node-heartbeat.maximum-offswitch-assignments</name> <value>1</value> <description> 控制節點心跳期間允許的OFF_SWITCH分配的數量. 增加此值可以提高OFF_SWITCH容器的調度速率. 較低的值可減少特定節點上應用程序的“聚集”. 默認值是1. 合法值是1-MAX_INT. 這個配置是可刷新的. </description> </property> </configuration>

capacity-scheduler.xml yarn容量調度配置文件