提问：EMR中s3distcp的容器超过了虚拟内存的限制

[quyiwei15]

你好
我使用s3distcp来将我的EMR MapReduce的输出文件从HDFS转移到S3上。我在我单独的EMR簇中运行了MR和s3distcp作为两个步骤。
当我使用s3distcp从HDFS复制dat文件到S3时，我得到了如下错误：
Container pid=8994,containerID=container_1395749857988_0002_01_000009 is running beyond virtual memory limits. Current usage: 735.9 MB of 1.5 GB physical memory used; 7.5 GB of 7.5 GB virtual memory used. Killing container.
Dump of the process-tree for container_1395749857988_0002_01_000009 :
我的配置如下：
master - m1.large
core - m1.large
task - m1.medium
错误的具体情况请参考附件。
感谢你们的帮助

[wangyp1230]

你好，你使用的是什么版本的Hadoop？AMI ID是什么？ 你能告诉我们你的簇ID么，以便我们查看你的日志文件，看看问题出在哪儿。 这个问题有可能是由于堆大小引起的，通常可以通过以下方式来解决： http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/HadoopMemoryIntensive.html 请告知我们 谢谢

[quyiwei15]

感谢你的回复， 以下是我配置的细节 Hadoop: Amazon 2.2.0 AMI版本:3.0.3 Cluster ID: j-20Y1JRRWXZWLW 请告诉我需要做哪些修改？ 谢谢。

[wangyp1230]

你好 我看了你的错误日志，可能是内存的问题。 容器pid=985,containerID=container_1396077109868_0002_01_000009 超过了虚拟内存的限制大小。目前的使用情况是：1.5GB的物理内存使用了757.7MB；7.5GB的虚拟内存使用了7.5GB。因此，这个容器的进程被杀死了。 你可以看一下这个日志： http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-manage-view-web-log-files.html 照之前的建议，请按照下列连接的方法来配置你的工作堆大小，在这个连接的下一页有具体的方法。 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/HadoopMemoryIntensive.html