Java服务突现毛刺

背景

容器原生设计为单进程模型，但公司线上运行的服务以多进程的方式运行，而且里面包含了很多的agent，例如日志采集、监控采集、数据配送等，耦合在了一个Container中，经过对线上资源使用率分析发现很大一部分资源消耗是在agent部分，而且与业务进程同时争抢业务容器申请的资源，彼此影响。虽然增量的容器部分agent迁移到了sidecar里面，解决了这些问题，但存量问题也需要解决，为此专门搞了一个项目用来优化这些问题。思想就是把agent进程从业务进程所在的cgroup中迁移出去，以不同cgroup层级存在，就可以避免相互影响，也可以限制各自资源大小，但是在灰度过程中发现部分Java容器服务开始出现毛刺。

排查过程

java服务毛刺问题在最早上云的时候就出现过，当时是因为jdk版本太低，在容器内运行时无法正确获取容器申请的cpu大小，导致创建过多的线程，从而导致容器内的进程内部争抢过高，业务开始出现毛刺。在某个版本（jdk8u191）之后，开发者完全不需要关注程序是运行在物理机还是容器环境下。

对比有问题的容器内的业务进程使用的jdk版本，结果（202 > 191）居然是没问题的版本，也就是已经可以自动识别cpu核数了，但为什么还是出现问题了呢？

首先需要确定下容器内java服务获取到的真正的cpu核数，可以执行如下命令

输出结果中可以看到获取到的核数确实不是我们申请的核数，也就是说虽然采用了没问题的jdk版本，但还是获取到了错误的核数。

接下来就是看下为什么会获取到错误的核数信息，可以使用strace来分析java服务启动过程中的函数调用信息，其中在获取cpu核数的时候比较奇怪，正常是从cpu子系统获取，但是结果却显示从cpu_mirror获取，而这个目录下没有保存cpu核数的文件。后经过确定，这个目录就是前面提到的做agent隔离的时候自定义的挂在目录，容器内位于/sys/fs/cgroup下面。到此基本可以猜测是因为我们自己mount了一个目录到cgroup目录下，导致jdk获取到了错误目录，参数也获取错误。

最后，为什么jdk获取到了错误的路径呢？参考 Container Support doesn’t work for some Join Controllers combinations，代码比较好理解，其实就是有问题的版本在获取路径时采用的是字符串截取，而不是精确匹配，导致cpu_mirror这种目录会被误认为是正确目录。

老版处理/prof/self/mountinfo直接遍历每行，用strstr判断是否包含cpu、memory等，包含就是找到了，处理/proc/self/cgroup的时候根据 冒号 分隔，去掉第一列序号，然后剩下的再取第一列，然后用strstr比较是不是包含cpu、memory等

新版针对/proc/self/mountinfo读一条数据，最后一列根据 逗号 分隔，然后用strcmp比较是否和cpu、memory相等，处理 /proc/self/cgroup的时候根据 冒号 分隔，去掉第一列序号，然后剩下的再取第一列 ，然后根据逗号分隔，遍历结果用strcmp比较是否是cpu、memory等

总结就是老版本 直接if contains(str, “cpu”) then set cpu subsystme 新版本 for subStr in split(str, “,") if subStr equals “cpu” then set cpu subsystem

解决方案

让业务升级jdk版本无法快速解决此问题，最终决定把挂载的cpu_mirror等问题目录umount掉，容器内看不到的话也就不会出问题了，经过测试发现可行，最终又在宿主上批量执行了umount的操作（为后面一个线上问题埋下了伏笔，详见这篇），长期方案是负责隔离的agent把问题目录改名，避免字符串匹配时匹配到。