https://www.percona.com/blog/why-linux-hugepages-are-super-important-for-database-servers-a-case-with-postgresql/
Hugepage 是什么,基于LINUX 系统,大页面对虚拟内存管理是有必要的。除标准的4KB页面之外,还进行内存中的大页面的管理,可以使用大页面定义1GB的页面大小的内存页面。在虚拟内存管理中,内核维护一个表,其中有一个虚拟内存地址到物理地址的映射。对于每个页面事务,内核都需要加载相关的映射。如果页面较小,则需要加载更多的页面,从而导致内核加载更多的映射表。
在系统运行后,可以通过下面的脚本来调整你hugepage 的设置,脚本来自oracle 公司。
#!/bin/bash
#
# hugepages_settings.sh
#
# Linux bash script to compute values for the
# recommended HugePages/HugeTLB configuration
#
# Note: This script does calculation for all shared memory
# segments available when the script is run, no matter it
# is an Oracle RDBMS shared memory segment or not.
# Check for the kernel version
KERN=`uname -r | awk -F. '{ printf("%d.%dn",
# Find out the HugePage size
HPG_SZ=`grep Hugepagesize /proc/meminfo | awk {'print $2'}`
# Start from 1 pages to be on the safe side and guarantee 1 free HugePage
NUM_PG=1
# Cumulative number of pages required to handle the running shared memory segments
for SEG_BYTES in `ipcs -m | awk {'print $5'} | grep "[0-9][0-9]*"`
do
MIN_PG=`echo "
if [ $MIN_PG -gt 0 ]; then
NUM_PG=`echo "
fi
done
# Finish with results
case $KERN in
'2.4') HUGETLB_POOL=`echo "
echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;
'2.6' | '3.8' | '3.10' | '4.1' ) echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;
*) echo "Unrecognized kernel version $KERN. Exiting." ;;
esac
# End
(需要系统运行,并在正常使用中运行脚步,获得调整值)
然后将给出的建议,放入到 /etc/sysctl.conf 系统文件,然后执行
sudo sysctl -p 将参数加入到系统中。
下面我们就操作通过PG 的数据库压测对比一下,在没有hugepage 和 启用huge page 系统在使用中内存消耗的不同。
在压力测试中,可以关注used 和 available 的内存变化,这里可以看到在压测的时候, 两个参数一直在下降,这样很容易引起 OOM
打开hugepage 并进行一些配置,后再次进行测试 (后面在说怎么进行配置,怎么进行的压测)
通过上面和下面这两个图对比,used 在同样的压力下,基本上没有变化,used 变化较大。这证明在压力测试的时候,PG 在使用内存方面比较稳定。
下面来说说怎么设置的
1 如何进行huge page 的设置
首先在系统运行时,通过命令获得postgres 中postmaster 的PID ,在通过命令 grep ^VmPeak /proc/5599/status, 获得使用的vmPeak的数量
2 通过计算数据转换为MB /2 ,然后将计算好的数据填入系统文件中 (页面预设尺寸 2mb)
3 vi /etc/sysctl.conf 输入计算好的数据 vm.nr_hugepages = 2245
4 运行 sysctl -p 命令
5 修改PG 的配置文件强制 huge_page = on
6 重启动PG 服务
经过上面的测试可以证明在打开huge_page = on (默认是try) 的情况下对内存占用有一定的保护,降低OOM 的风险。
注:try 的情况下 ,有可能无法打开huge_page = on 启动时也有可能失败,具体原因找时间在说。
压力测试以及硬件配置为 16G 内存,2CORE CPU SSD 磁盘, 模拟80客户端进行压力测试。