不要把 OOM 问题当作一个可怕的难题,也许对着报错堆栈日志看代码就能解决。
问题描述
线上服务出现 OOM 的日志,日志显示是 minio-client 的错误。使用 minio-client 版本是 3.0.10。看代码得知是文件上传接口报错,在测试环境删除上传文件大小限制,上传 6G 文件,复现该问题。 解决方案,client 升级到 7.0.2,手动设置分片大小。
发生原因
minio-client 对于没有指定大小的文件上传,会认为流大小为 5T,进行分片上传,每片大小为 5G。上传逻辑是将分片的流全部转成字节数组,再上传。这会导致最大占用 5G 内存。当多个用户在同一时刻上传多个大文件,很容易就耗净所有内存,产生 OOM。
解决思路
minio-client 7.0.2 可指定分片大小,我将分片大小设置 50M,这样上传单个大文件就不会出现 OOM,同时也增加了并发上传的能力,缺点是上传速度会慢一些。