Hadoop(十八)——hadoop之MapReduce理論篇(九)——MapReduce引數優化
阿新 • • 發佈:2019-07-08
一個Map Task可使用的資源上限(單位:MB),預設為1024。如果Map Task實際使用的資源量超過該值,則會被強制殺死。
mapreduce.reduce.memory.mb
一個Reduce Task可使用的資源上限(單位:MB),預設為1024。如果Reduce Task實際使用的資源量超過該值,則會被強制殺死。
mapreduce.map.java.opts
Map Task的JVM引數,你可以在此配置預設的java heap size等引數, e.g.
“-Xmx1024m -verbose:gc -Xloggc:/tmp/@[email protected]” (@taskid@會被Hadoop框架自動換為相應的taskid), 預設值: “”
mapreduce.reduce.java.opts
Reduce Task的JVM引數,你可以在此配置預設的java heap size等引數, e.g.
“-Xmx1024m -verbose:gc -Xloggc:/tmp/@[email protected]”, 預設值: “”
mapreduce.map.cpu.vcores
每個Map task可使用的最多cpu core數目, 預設值: 1
mapreduce.reduce.cpu.vcores
每個Reduce task可使用的最多cpu core數目, 預設值: 1