elasticsearch 索引清理脚本及常用命令

2022-08-20 09:00:37 浏览数 (1)

elastic索引日志清理不及时,很容易产生磁盘紧张,官网给出curl -k -XDELETE可以清理不需要的索引日志。

清理脚本

代码语言:javascript复制
#!/bin/bash
#Author: 648403020@qq.com
#date: 2019.03.28

# 需要清理几天以前的索引日志
CLEAN_DAY=7

# 获取N天以前的年月日
YEAR=$(date -d "$(date -I) -$CLEAN_DAY"day""  %Y)
MONTH=$(date -d "$(date -I) -$CLEAN_DAY"day""  %m)
DAY=$(date -d "$(date -I) -$CLEAN_DAY"day""  %d)

# 获取需要过滤N天前的ES索引数据
DATA=`curl -sk https://esadmin:your_password@10.124.56.120:9200/_cat/indices?v 
|awk '/[0-9]{4}-[0-9]{2}-[0-9]{2}/ {print $3}' |awk -F- '{s2=mktime($(NF-2)" "$(NF-1)" "$NF" 0 0 0");
s1=systime()}{if(s1-s2 >= 86400*"'$CLEAN_DAY'") print $0}'`

echo "即将清理"$YEAR'-'$MONTH'-'$DAY"前ES索引数据>>>>>>>>"
echo "清理数据为: "$DATA 

# 执行清理工作
for i in $DATA
    do
    sleep 3
    curl -k -XDELETE https://esadmin:your_password@10.124.56.120:9200/$i
done

echo "=======================" 
echo    "执行完成"
echo "======================="
  • 添加到任务计划,每天3点执行清理
代码语言:javascript复制
crontab -e
00 03 * * * sh /apps/sh/ESindex_clean_v3.sh > /dev/null 2>&1

常用命令

  • 查看索引列表 curl -k https://your_username:your_password@10.124.10.27:9200/_cat/indices?v
  • 查询集群是否健康 curl -k https://your_username:your_password@10.124.10.27:9200/_cluster/health
  • 查看所有shard curl -k https://your_username:your_password@10.124.10.27:9200/_cat/shards
  • 启动命令 /usr/local/elasticsearch/bin/elasticsearch -d

0 人点赞