线上服务全挂了,经排查居然是vim的锅?

2022-08-26 15:42:31 浏览数 (1)

作者 | 梁唐

大家好,我是梁唐。

最近无意间打开了曾经做后端时的笔记,想起来许多往事,挑了一段有意思的,分享给大家。

故事发生的时候我还是一个萌新,啥都不知道,完全听老板和师兄安排。发生的时候是一个周末,周末嘛,自然就开开心心过周末,出去玩耍、约会,吃点好吃的,或者找点好玩的。就在正开心的时候,突然收到一条报警短信,说某某服务器挂了。

我正担心呢,就收到了师兄的消息,他说不要紧,我让隔壁组的同事帮忙查了,应该很快就能好。

我听到师兄这么讲也就安心了,没想到后来整个服务都宕机了,完全无法响应,因此还出了一个P1的故障。一般来说这种级别的故障都有一些很深奥的原因,没想到后来开故障分析会的时候,才知道这次的事故起因非常非常不起眼,出在了大家日常都会使用的vim上。

原本第一台机器的宕机并不稀奇,由于OOM。

当时的服务器后端是用Java写的,Java和C 相比最大的区别就是Java有自动垃圾回收机制,而C 只能手动释放内存。

但Java的自动垃圾回收机制也有很多问题,比如JVM的配置不合理,或者是代码写得不够优雅,创建了许多极耗内存的对象,垃圾回收策略来不及处理或者是超过了能够处理的极限,就会引起内存超界的错误。英文是OutOfMemory,简称为OOM。

这种现象在Java后端还挺常见的,可能我们当时的系统也的确不够优雅。原本这个问题并不大,因为集群都有负载均衡策略,一个服务都对应多台机器。哪怕是一台机器挂了,上层的网关做流量分发的时候会自动避开宕机的机器,一样能保证请求都能有响应。

所以一台机器挂了其实没啥问题,我们什么都不做等它自动重启或者是找运维帮忙手动重启都行。要命就要命在找了隔壁组的师兄来排查故障。

这哥们排查故障的时候,非常自然地连上了服务器,然后用vim打开了系统的日志。

就是这一行代码:

代码语言:javascript复制
vim xxxx.log

我当时听到报告的时候也很纳闷,vim打开日志不是天经地义的事情吗,这也会出问题吗?

正常来说当然是不会,但这里有一个隐藏的前提条件,就是vim打开文件时会把文件加载在系统的内存里(显然)。既然是加载在内存里,那么自然是会消耗内存的。这就导致了一个问题,如果这个文件太大,然后又用了vim强行打开,很有可能会导致系统内存耗尽于是崩溃。

这个哥们那天正是遇到了这样的事情,他发现vim打开之后ssh连接断了。他以为是自己的网络出了问题,于是他换了一台机器连接查看日志,于是同样的剧本再次上演。这哥们一口气把所有的服务器都查看了一遍,发现都没反应,他以为是自己的ssh跪了,就汇报说暂时看不了问题,因为ssh跪了。

报告的人也没当回事,因为之前的报警只是挂了一台机器,不会影响服务,也就没当回事。你可能会好奇,后面的机器挂了难道没报警吗?说来惭愧,关于这里的细节我有些记不清了。

我猜想了一下,无非两种可能,一种是报警程序是运行在机器里检测java进程的,java进程挂了能够发现并报警,但如果是机器直接挂了,就没法报警了。第二种可能是报警了,但是他们以为还是之前的问题,于是忽略了。

当时这个故事给我触动很大,这也是我至今还能记住这个故事的原因。因为我没有想到,只是使用vim打开一个文件居然还有这样的风险。

那么问题来了,既然vim打开文件有这样的隐患,我们应该怎么办呢?

大概有两种方法,第一种是事先检查。在使用vim打开文件之前,先使用ls命令查看一下文件的大小,如果文件过大则不要直接打开。

检查的命令很简单:ls -lh,ls命令很简单,大家都知道查看目录下文件。这里传入了两个参数,l表示详细信息,包括文件类型、权限、文件大小等。但是这里显示的文件大小是字节数,很难直接看出来有多大,所以我们需要加上一个参数h,我没记错的话,这个参数表示将文件大小转化成人类可识别的形式。

比如我们不加h,得到的结果是这样的:

加上h之后,则是这样的:

这里的文件大小就容易理解多了。

第二种方式是使用tail代替vim查看log,tail的意思是查看文件尾部的内容。它有两个参数非常常用,一个是-n,也就是显示最后n行。

代码语言:javascript复制
tail -n10 xxx.log

我这里写的就是显示xxx.log文件的最后10行,这里的n也可以省略,写成tail -10也行。

第二个参数是-f,-f的意思是表示循环输出。因为线上的日志往往是不断变更的,因为会有系统一直往当中写入新的日志。我们使用-f,就可以保持同步,将源源不断写入的内容都打印在屏幕上。

并且-f可以和-n一起使用,表示从当前末尾n行开始一直循环输出。

代码语言:javascript复制
tail -30f xxx.log

自从学会了这两招,再也没有因为使用vim打开巨大日志而导致系统崩溃过。

0 人点赞