问题描述及原因:hiveserver2发生fullgc频繁
可能影响:
- 客户端连接变慢,卡顿,超时
处理建议:
- 排查hiveserver2服务内存配置以及优化gc参数
场景:hiveserver2发生fullgc频繁
在EMR控制台进入“集群监控”,点击“DashBoard”,点击 Overview-DashBoard --> Hive-DashBoard --> full_gc_num
观察的full_gc_num的变化情况,若1分钟内发生1次full gc,建议在EMR控制台-->集群服务/hive-->配置管理-->hive里修改以下配置项
HS2Opts | -Xms4g -Xmx32g -XX: UseG1GC -XX:MaxGCPauseMillis=200 -XX:GCPauseIntervalMillis=600 -XX:G1HeapRegionSize=8M -verbose:gc -XX: PrintGCTimeStamps -XX: PrintGCDateStamps -XX: PrintGCDetails -Xloggc:/data/emr/hive/logs/hiveserver2gc.log -XX:-UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=32M -XX:MaxDirectMemorySize=1g -XX:CompressedClassSpaceSize=256m -XX:-UseCompressedClassPointers -XX:-UseCompressedOops |
---|
-Xmx32g 实际配置大小需要结合机器内存调整,建议不小于24g,若机器内存不够,建议升配或扩router节点单独部署该服务。
配置下发后滚动重启hiveserver2即可