在执行hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar \ -archives mapper.py#mapper.py,reducer.py#reducer.py \ -mapper mapper.py \ -reducer reducer.py \ -input input.txt \ -output output报错is running 290368000B beyond the 'VIRTUAL' memory limit. Current usage: 57.2 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.
时间: 2024-03-15 16:45:56 浏览: 59
Windows平台上安装Hadoop-0.20.203.0版本方法
这个错误提示说明你的hadoop程序在执行时超过了虚拟内存限制,导致程序被杀死。可能的原因是你的MapReduce作业处理数据量过大,或者程序中存在内存泄漏等问题。
你可以尝试通过调整hadoop的配置参数来解决这个问题。具体方法是在hadoop的配置文件中增加以下配置参数:
```
<property>
<name>mapreduce.map.memory.mb</name>
<value>4096</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>8192</value>
</property>
```
这里将map和reduce任务的内存限制分别调整为4GB和8GB。你可以根据你的实际情况对这些参数进行调整。
阅读全文