YARN資源調度策略之Capacity Scheduler
背景
yarn默認使用的是最簡單的FIFO調度器，即一個default隊列，所有用戶共享，分配資源也是先到先得，沒有優先級之分。有時一兩個任務就把資源全占了，其他任務吃不到資源造成饑餓，顯然這樣的資源分配是不合理的（在當今社會主義之中，我們要共同富裕啊）。yarn還有兩種資源調度器，capacity schedule和fair schedule，本文主要研究下capacity schedule。
什麽是capacity schedule
Capacity Schedule調度器以隊列為單位劃分資源。簡單通俗點來說，就是一個個隊列有獨立的資源，隊列的結構和資源是可以進行配置的，如下圖：
default隊列占30%資源，analyst和dev分別占40%和30%資源；類似的，analyst和dev各有兩個子隊列，子隊列在父隊列的基礎上再分配資源。
隊列以分層方式組織資源,設計了多層級別的資源限制條件以更好的讓多用戶共享一個Hadoop集群，比如隊列資源限制、用戶資源限制、用戶應用程序數目限制。隊列裏的應用以FIFO方式調度，每個隊列可設定一定比例的資源最低保證和使用上限，同時，每個用戶也可以設定一定的資源使用上限以防止資源濫用。而當一個隊列的資源有剩余時，可暫時將剩余資源共享給其他隊列。
特性
Capacity調度器具有以下的幾個特性：
● 層次化的隊列設計，這種層次化的隊列設計保證了子隊列可以使用父隊列設置的全部資源。這樣通過層次化的管理，更容易合理分配和限制資源的使用。
● 安全，每個隊列又嚴格的訪問控制。用戶只能向自己的隊列裏面提交任務，而且不能修改或者訪問其他隊列的任務。
● 彈性分配，空閑的資源可以被分配給任何隊列。當多個隊列出現爭用的時候，則會按照比例進行平衡。
● 多租戶租用，通過隊列的容量限制，多個用戶就可以共享同一個集群，同時保證每個隊列分配到自己的容量，提高利用率。
● 操作性，yarn支持動態修改調整容量、權限等的分配，可以在運行時直接修改。還提供給管理員界面，來顯示當前的隊列狀況。管理員可以在運行時，添加一個隊列；但是不能刪除一個隊列。管理員還可以在運行時暫停某個隊列，這樣可以保證當前的隊列在執行過程中，集群不會接收其他的任務。如果一個隊列被設置成了stopped，那麽就不能向他或者子隊列上提交任務了。
配置
開啟調度器
在ResourceManager中配置它要使用的調度器，配置方式是修改conf/yarn-site.xml，設置屬性：
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value></property>配置隊列
調度器的核心就是隊列的分配和使用了，修改conf/capacity-scheduler.xml可以配置隊列。
Capacity調度器默認有一個預定義的隊列——root,所有的隊列都是它的子隊列。隊列的分配支持層次化的配置，使用.來進行分割，比如yarn.scheduler.capacity.<queue-path>.queues
下面是配置的樣例，比如root下面有三個子隊列:
<property> <name>yarn.scheduler.capacity.root.queues</name> <value>a,b,c</value> <description>The queues at the this level (root is the root queue). </description></property><property> <name>yarn.scheduler.capacity.root.a.queues</name> <value>a1,a2</value> <description>The queues at the this level (root is the root queue). </description></property><property> <name>yarn.scheduler.capacity.root.b.queues</name> <value>b1,b2,b3</value> <description>The queues at the this level (root is the root queue). </description></property>
隊列屬性
yarn.scheduler.capacity.<queue-path>.capacity
它是隊列的資源容量占比(百分比)。系統繁忙時，每個隊列都應該得到設置的量的資源；當系統空閑時，該隊列的資源則可以被其他的隊列使用。同一層的所有隊列加起來必須是100%。
yarn.scheduler.capacity.<queue-path>.maximum-capacity
隊列資源的使用上限。由於系統空閑時，隊列可以使用其他的空閑資源，因此最多使用的資源量則是該參數控制。默認是-1，即禁用。
yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent
每個任務占用的最少資源。比如，你設置成了25%。那麽如果有兩個用戶提交任務，那麽每個任務資源不超過50%。如果3個用戶提交任務，那麽每個任務資源不超過33%。如果4個用戶提交任務，那麽每個任務資源不超過25%。如果5個用戶提交任務，那麽第五個用戶需要等待才能提交。默認是100，即不去做限制。
yarn.scheduler.capacity.<queue-path>.user-limit-factor
每個用戶最多使用的隊列資源占比，如果設置為50.那麽每個用戶使用的資源最多就是50%。
運行和提交應用限制
yarn.scheduler.capacity.maximum-applications / yarn.scheduler.capacity.<queue-path>.maximum-applications
設置系統中可以同時運行和等待的應用數量。默認是10000.
yarn.scheduler.capacity.maximum-am-resource-percent / yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent
設置有多少資源可以用來運行app master，即控制當前激活狀態的應用。默認是10%。
隊列管理
yarn.scheduler.capacity.<queue-path>.state
隊列的狀態，可以使RUNNING或者STOPPED.如果隊列是STOPPED狀態，那麽新應用不會提交到該隊列或者子隊列。同樣，如果root被設置成STOPPED，那麽整個集群都不能提交任務了。現有的應用可以等待完成，因此隊列可以優雅的退出關閉。
yarn.scheduler.capacity.root.<queue-path>.acl_submit_applications
訪問控制列表ACL控制誰可以向該隊列提交任務。如果一個用戶可以向該隊列提交，那麽也可以提交任務到它的子隊列。
yarn.scheduler.capacity.root.<queue-path>.acl_administer_queue
設置隊列的管理員的ACL控制，管理員可以控制隊列的所有應用程序。同樣，它也具有繼承性。
註意：ACL的設置是user1,user2 group1,group2這種格式。如果是則代表任何人。空格表示任何人都不允許。默認是.
其他屬性
yarn.scheduler.capacity.resource-calculator
資源計算方法，默認是org.apache.hadoop.yarn.util.resource.DefaultResourseCalculator,它只會計算內存。DominantResourceCalculator則會計算內存和CPU。
yarn.scheduler.capacity.node-locality-delay
調度器嘗試進行調度的次數。一般都是跟集群的節點數量有關。默認40（一個機架上的節點數）
一旦設置完這些隊列屬性，就可以在web ui上看到了。可以訪問下面的連接：
xxx:8088/scheduler
修改隊列配置
如果想要修改隊列或者調度器的配置，可以修改
vi $HADOOP_CONF_DIR/capacity-scheduler.xml
修改完成後，需要執行下面的命令：
$HADOOP_YARN_HOME/bin/yarn rmadmin -refreshQueues
註意：
隊列不能被刪除，只能新增。
更新隊列的配置需要是有效的值
同層級的隊列容量限制相加需要等於100%。
如果希望自己的任務調度到queue1隊列，只需在啟動任務時指定：mapreduce.job.queuename參數為queue1即可，默認為default隊列
YARN資源調度策略之Capacity Scheduler