Container is running beyond memory limitshttp://stackoverflow.com/questions/21005643/container-is-running-beyond-memory-limits`　　

[hadoop] - Container [xxxx] is running beyond physical/virtual memory limits. http://www.cnblogs.com/liuming1992/p/5040262.html

當執行mapreduce的時候，有時候會出現異常資訊，提示實體記憶體或者虛擬記憶體超出限制，預設情況下：虛擬記憶體是實體記憶體的2.1倍。異常資訊類似如下：

Container [pid=13026,containerID=container_1449820132317_0013_01_000012] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.7 GB of 2.1 GB virtual memory used. Killing container. Dump of the process-tree for container_1449820132317_0013_01_000012 : |- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE |- 13044 13026 13026 13026 (java) 4479 494 1696595968 271631 /home/hadoop/cdh5.2.4/jdk1.7.0_79/bin/java -Djava.net.preferIPv4Stack=true -xxx
 

我們可以看到該異常資訊是提示實體記憶體超過限制，但是通過我們檢視程式碼我們發現我們最終使用的記憶體沒有達到1G，只有500M-。（具體原因沒有細查）最終我們發現影響這個程式碼執行的引數分別是：

針對該異常資訊，有多種方式進行解決：

第一種：

　　直接將yarn.nodemanager.pmem-check-enabled和yarn.nodemanager.vmem-check-enabled設定為false，那麼可以杜絕異常資訊的產生。

第二種：

　　如果異常資訊提示的是virtual memory不夠，那麼可以將yarn.nodemanager.vmem-pmem-ratio引數改大，那麼也可以避免異常資訊的產生。

第三種：

　　修改mapreduce引數，設定修改如下：

　　mapreduce.map.memory.mb = (1~2倍) * yarn.scheduler.minimum-allocation-mb

　　mapreduce.reduce.memory.mb = (1~4倍) * yarn.scheduler.minimum-allocation-mb

　　1. mapred.child.java.opts = -XmxTm(T數字要小於map和reduce的設定value)

　　2. mapreduce.map.java.opts=-Xmx(<mapreduce.map.memory.mb)m

　　    mapreduce.reduce.java.opts=-Xmx(<mapreduce.reduce.memory.mb)m

　　總結：最終執行引數給定的jvm堆大小必須小於引數指定的map和reduce的memory大小，最好為70%以下。

hadoop原始碼涉及到地方：

1. org.apache.hadoop.mapred.MapReduceChildJVM.getChildJavaOpts

2. org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl.MonitoringThread.run()<398-465行>(進行記憶體限制判斷)

3. org.apache.hadoop.yarn.server.nodemanager.containermanager.container.ContainerImpl.LaunchTransition.transition()<647-658行>(進行實體記憶體和虛擬記憶體大小限制計算和賦值)

　　實體記憶體大小其實就是mapreduce.map.memory.mb和mapreduce.reduce.memory.mb的一個大小值

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

mapred.child.java.opts:當需要處理超大資料（mapper大於10？）最好將值設定成-Xmx1024m或者更高(-Xmx2048m)才能避免出現“核心已轉儲”這種jvm記憶體溢位的錯誤！！

http://slaytanic.blog.51cto.com/2057708/1101360/

http://blog.csdn.net/lalaguozhe/article/details/9076895

​前一陣子發現使用者提交的Hive query和Hadoop job會導致叢集的load非常高，經檢視配置，發現很多使用者擅自將mapred.child.Java.opts設定的非常大，比如-Xmx4096m(我們預設設定是-Xmx1024m),  導致了tasktracker上記憶體資源耗盡，進而開始不斷swap磁碟上資料，load飆升

TaskTracker在spawn一個map/reduce task jvm的時候，會根據使用者JobConf裡面的值設定jvm的引數，然後寫入一個taskjvm.sh檔案中，然後呼叫Linux命令"bin/bash -c taskjvm.sh"來執行task，

mapred.child.java.opts就是設定jvm的引數之一，在新版本中已經標註Deprecateded，取而代之的是區分Map task和Reduce task的jvm opts，mapred.map.child.java.opts和mapred.reduce.child.java.opts(預設值為-Xmx200m)

當用戶在不設該值情況下，會以最大1G jvm heap size啟動task，有可能導致OutOfMemory，所以最簡單的做法就是設大引數，並且由於這個值不是final，所以使用者在自己的mapred-site.xml中可以覆蓋預設值。但是如果很多使用者都無限度設定的話，high load問題就來了。

其實在構造JVM Args的過程中，是有另外一個admin引數可以覆蓋使用者端設定的mapreduce.admin.map.child.java.opts, mapreduce.admin.reduce.child.java.opts

經測試，如果相同的jvm arg如果寫在後面，比如"-Xmx4000m -Xmx1000m"，後面的會覆蓋前面的，“-Xmx1000m”會最終生效，通過這種方式，我們就可以有限度的控制heap size了

終在mapred-site.xml中加上

<property>
      <name>mapreduce.admin.map.child.java.opts</name>
      <value>-Xmx1024m</value>
</property>
<property>
      <name>mapreduce.admin.reduce.child.java.opts</name>
      <value>-Xmx1536m</value>
</property>