MapReduce工作笔记——yarn reducer 内存溢出 beyond physical memory limits

2020-09-10 10:46:06 浏览数 (1)

0. 前言

有天在运行一个例行任务的时候,在 reducer100% 的时候,任务突然崩了,以前跑的好好的程序怎么突然就崩了呢?,打开track url一看,报了如图所示的错误:

Current usage: 2.1gb of 2.0gb physical memory used; 1.6gb of 3.15gb virtual memory used. Killing container.

既然以前没有出现过类似的问题,那么排除常规数据的问题,那么就是系统配额reduce内存太少了,搜了一圈终于知道了解决方法,见链接:https://community.pivotal.io/s/article/MapReduce-YARN-Memory-Parameters

1. 解决方法

添加如下命令即可解决:

代码语言:javascript复制
-D mapreduce.reduce.memory.mb=5120

这后面的大小可以自定义

0 人点赞