使用docker-compose部署的clickhouse
错误日志:
将错误日志复制到当前目录下
代码语言:javascript复制docker cp clickhouse:/var/log/clickhouse-server/clickhouse-server.err.log ./
查看其中的错误信息
总结一下报错关键字:
- Detaching broken part
- DB::Exception: Suspiciously many (15) broken parts to remove
原因
- 异常断电后,文件系统可能会出现问题,尤其是一些在不断进行读写合并的文件。由于clickhouse是开源列式存储数据库,服务器断电后,写入数据导致元数据与数据不一致。clickhouse在重启服务的时候会重新加载MergeTree表引擎数据,数据可能存在损坏情况。
- clickhouse配置参数当中包含一个参数max_suspicious_broken_parts(默认路径 /etc/clickhouse-server/config.xml),默认值是10,可选范围是任意正整数。如果单个分区的损坏部分数量超过max_suspicious_broken_parts配置的值,则拒绝自动修复或者拒绝删除损坏部分的数据,并且在服务启动时直接报错退出。
- 目前需要尽量避免该错误以免服务启动失败,推荐把该参数配置为1000或者更大的值。
解决:
修改配置文件方式:
新建max_suspicious_broken_parts.xml文件写入如下内容。clickhouse的配置文件推荐放置在/etc/clickhouse-server/config.d/文件夹下生效。
代码语言:javascript复制<?xml version="1.0"?>
<yandex>
<merge_tree>
<max_suspicious_broken_parts>9999</max_suspicious_broken_parts>
</merge_tree>
</yandex>
docker-compose新增如下映射
代码语言:javascript复制- /home/app/proxy-statistics/ch/config/max_suspicious_broken_parts.xml:/etc/clickhouse-server/config.d/max_suspicious_broken_parts.xml
代码语言:javascript复制