很多小伙伴对swap分区(内存数据换入换出)这个名词可能不陌生,有了这个技术,系统才能实现承载计算机内存总量的多进程运行。操作系统会把暂时不用的内存数据写到磁盘等其他存储中,以此来释放更多的内存空间执行当前需要更多内存的进程。但是换入换出过度频繁时虽然可能不发生进程申请不到内存而导致失败的问题,但却在一定程度上降低了进程执行的效率,毕竟内存与磁盘读写速度相差几个数量级,那么是否有其他技术能解决内存数据换入换出速度过慢的问题。这也是为什么安装k8s的机器上推荐关闭swap的原因,如果内存不足就直接暴漏出来,而不是遮遮掩掩。
这就是本文要提到的内存压缩技术,为了节约内存资源,操作系统引入了内存压缩技术对内存数据进行压缩,内存压缩不是上来就直接进行的,因为虽然是纯内存操作,但是也涉及数据的压缩解压缩问题,也会占用CPU算力,所以内存充足的情况下一般不会进行内存压缩。
上图展示的是linux系统用到的zswap内存压缩技术,如上图所示,zswap延迟了内存换入换出的频率,为换页过程提供了缓存区,从而可以通过批量操作磁盘来降低单次读写磁盘的低效问题。kafka读写用到的page cache通过延迟内存写入频率在一定程度上提高了磁盘写入效率,当然kafka写入磁盘高效的原因是kafka写入磁盘的日志是顺序写入,磁盘顺序写入的效率与内存读写相当,因为略去了很多磁盘转动扫描磁盘分区的时间。