1. 程式人生 > >Hadoop(十八)——hadoop之MapReduce理論篇(九)——MapReduce引數優化

Hadoop(十八)——hadoop之MapReduce理論篇(九)——MapReduce引數優化

一個Map Task可使用的資源上限(單位:MB),預設為1024。如果Map Task實際使用的資源量超過該值,則會被強制殺死。

mapreduce.reduce.memory.mb

一個Reduce Task可使用的資源上限(單位:MB),預設為1024。如果Reduce Task實際使用的資源量超過該值,則會被強制殺死。

mapreduce.map.java.opts

Map Task的JVM引數,你可以在此配置預設的java heap size等引數, e.g.

“-Xmx1024m -verbose:gc -Xloggc:/tmp/@[email protected]” (@taskid@會被Hadoop框架自動換為相應的taskid), 預設值: “”

mapreduce.reduce.java.opts

Reduce Task的JVM引數,你可以在此配置預設的java heap size等引數, e.g.

“-Xmx1024m -verbose:gc -Xloggc:/tmp/@[email protected]”, 預設值: “”

mapreduce.map.cpu.vcores

每個Map task可使用的最多cpu core數目, 預設值: 1

mapreduce.reduce.cpu.vcores

每個Reduce task可使用的最多cpu core數目, 預設值: 1

<