1. 程式人生 > >【解決】Oozie在排程Hive程式時,出現Job狀態一直是ACCEPTED!

【解決】Oozie在排程Hive程式時,出現Job狀態一直是ACCEPTED!

Oozie在排程Hive程式時,出現Job狀態一直是ACCEPTED!網上查閱資料說是記憶體不足問題,我改了yarn-site.xml配置檔案 :

<property>
    <name>mapreduce.map.memory.mb</name>
	<value>2048</value>
</property>

<property>
    <name>mapreduce.map.cpu.vcores</name>
	<value>2</value>
</property>

<property>
    <name>mapreduce.reduce.memory.mb</name>
	<value>2048</value>
</property>

<property>
    <name>mapreduce.reduce.cpu.vcores</name>
	<value>2</value>
</property>

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
	<value>10240</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
	<value>10</value>
</property>

mapreduce.map.memory.mb ,map任務記憶體,cdh預設1G
mapreduce.map.cpu.vcores ,map任務虛擬CPU核數,cdh預設1
mapreduce.reduce.memory.mb ,reduce任務記憶體,cdh預設1G
mapreduce.reduce.cpu.vcores ,reduce任務虛擬CPU核數,cdh預設1
yarn.nodemanager.resource.memory-mb ,容器記憶體,cdh預設8G
yarn.nodemanager.resource.cpu-vcores ,容器虛擬CPU核數,cdh預設是8

 重啟yarn之後依舊不行!

 

終極解決!!!!!!


 <!-- 開啟多執行緒-->
 
<property>
 
     
<name>yarn.resourcemanager.scheduler.class</name>
 
     
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
 
 
</property>

<!--開啟公平排程器 -->
 
<property>
 
     
<name>yarn.scheduler.fair.preemption</name>
 
     
<value>true</value>
 
 
</property>
<!--
下面配置用來設定叢集利用率的閥值, 預設值0.8f,最多可以搶佔到叢集所有資源的80%
-->
 
 
<property>
 
     
<name>yarn.scheduler.fair.preemption.cluster-utilization-threshold</name>
 
     
<value>1.0</value>
 
 
</property>