OOM 很可怕吗 -- minio-client 上传文件触发 OOM 排错

2021-12-06 15:48:01 浏览数 (1)

不要把 OOM 问题当作一个可怕的难题,也许对着报错堆栈日志看代码就能解决。

问题描述

线上服务出现 OOM 的日志,日志显示是 minio-client 的错误。使用 minio-client 版本是 3.0.10。看代码得知是文件上传接口报错,在测试环境删除上传文件大小限制,上传 6G 文件,复现该问题。 解决方案,client 升级到 7.0.2,手动设置分片大小。

发生原因

minio-client 对于没有指定大小的文件上传,会认为流大小为 5T,进行分片上传,每片大小为 5G。上传逻辑是将分片的流全部转成字节数组,再上传。这会导致最大占用 5G 内存。当多个用户在同一时刻上传多个大文件,很容易就耗净所有内存,产生 OOM。

解决思路

minio-client 7.0.2 可指定分片大小,我将分片大小设置 50M,这样上传单个大文件就不会出现 OOM,同时也增加了并发上传的能力,缺点是上传速度会慢一些。

源码解析

0 人点赞