系统报错:WAL system stuck,如下:
出现这种异常,基本可以确定是HDFS不可读写了,一般情况下是IO被打满,或者HDFS存储被打满。
我们检查了HDFS存储,果然发现HDFS存储使用率已经达到了95%。
进一步分析发现,我们当时在做扩容,而扩容后,HBase会自动做数据迁移,迁移的过程中,HBase会自动做major compact,而做major compact的时候,数据量会翻倍,导致HDFS存储使用率超了。
系统报错:WAL system stuck,如下:
出现这种异常,基本可以确定是HDFS不可读写了,一般情况下是IO被打满,或者HDFS存储被打满。
我们检查了HDFS存储,果然发现HDFS存储使用率已经达到了95%。
进一步分析发现,我们当时在做扩容,而扩容后,HBase会自动做数据迁移,迁移的过程中,HBase会自动做major compact,而做major compact的时候,数据量会翻倍,导致HDFS存储使用率超了。