故障现象:
1、某分行部署的某台服务器内存占用过高,导致死机; 2、代码层面检查暂未发现问题,服务器硬重启持续一段时间后(3-5天)再次占满。
发现问题:
赶往现场后进行检查,当时是一切正常的,今有DB2进程占用18%,在正常范围内; 在crontab 中发现有两个脚本每天14点进行FTP批量数据传输,找到相应的传输文件存放目录发现每天传输的文件达到30多个G,由此可判断这就是故障之根本,FTP传输文件,会缓存到内存中,服务器内存也只有32G,FTP传输导致缓存被占满,Linux不能自动清理缓存导致死机。 Linux内存中缓存占用的空间是可以自动释放的,现在缓存占用了整个内存导致死机,肯定是没有自动释放缓存。
解决方法:
设定Linux内存参数,始终留出一块空间,以避免缓存不释放导致死机。
方案一: 可手动清理页文件缓存,但是需手动执行;
代码语言:javascript复制echo 1 > /pron/sys/vm/drop_caches
方案二: 我们采用的方法是设定内存最低剩余内存,不让缓存占满 1.使用root用户备份/etc/sysctl.conf文件,准备修改原文件; 2.修改sysctl.conf配置文件 2.1 打开sysctl.conf
代码语言:javascript复制vim /etc/sysctl.conf
2.2 在文件最后加入一行:
代码语言:javascript复制vm.min_free_kbytes = 2097152
代码语言:javascript复制(命令意义:设置最小剩余内存,单位KB,这里设置2G)
2.3 保存退出。 3. 使配置文件生效
代码语言:javascript复制sysctl -p
由于第一种方法属于直接清空缓存,可能会造成数据丢失,故在此生产环境我们选择的是方案二。