【解決】Oozie在排程Hive程式時,出現Job狀態一直是ACCEPTED!
阿新 • • 發佈:2018-12-22
Oozie在排程Hive程式時,出現Job狀態一直是ACCEPTED!網上查閱資料說是記憶體不足問題,我改了yarn-site.xml配置檔案 :
<property> <name>mapreduce.map.memory.mb</name> <value>2048</value> </property> <property> <name>mapreduce.map.cpu.vcores</name> <value>2</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>2048</value> </property> <property> <name>mapreduce.reduce.cpu.vcores</name> <value>2</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>10240</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>10</value> </property> mapreduce.map.memory.mb ,map任務記憶體,cdh預設1G mapreduce.map.cpu.vcores ,map任務虛擬CPU核數,cdh預設1 mapreduce.reduce.memory.mb ,reduce任務記憶體,cdh預設1G mapreduce.reduce.cpu.vcores ,reduce任務虛擬CPU核數,cdh預設1 yarn.nodemanager.resource.memory-mb ,容器記憶體,cdh預設8G yarn.nodemanager.resource.cpu-vcores ,容器虛擬CPU核數,cdh預設是8
重啟yarn之後依舊不行!
終極解決!!!!!!
<!-- 開啟多執行緒--> <property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property> <!--開啟公平排程器 --> <property> <name>yarn.scheduler.fair.preemption</name> <value>true</value> </property> <!-- 下面配置用來設定叢集利用率的閥值, 預設值0.8f,最多可以搶佔到叢集所有資源的80% --> <property> <name>yarn.scheduler.fair.preemption.cluster-utilization-threshold</name> <value>1.0</value> </property>