0. 前言
有天在运行一个例行任务的时候,在 reducer
到 100%
的时候,任务突然崩了,以前跑的好好的程序怎么突然就崩了呢?,打开track url
一看,报了如图所示的错误:
Current usage: 2.1gb of 2.0gb physical memory used; 1.6gb of 3.15gb virtual memory used. Killing container.
既然以前没有出现过类似的问题,那么排除常规数据的问题,那么就是系统配额reduce内存太少了,搜了一圈终于知道了解决方法,见链接:https://community.pivotal.io/s/article/MapReduce-YARN-Memory-Parameters
1. 解决方法
添加如下命令即可解决:
代码语言:javascript复制-D mapreduce.reduce.memory.mb=5120
这后面的大小可以自定义