使用Curator在腾讯云Elasticsearch中自动删除过期数据

2019-07-09 17:13:17 浏览数 (1)

本文将向您介绍,如何在腾讯云的无服务器函数(scf)中,使用curator工具,创建ES过期索引的自动删除定时任务。

Curator是一个用来管理Elasticsearch索引的工具,使用它可以管理需要删除或保留的索引数据。

使用Curator可以完成以下功能:

  • 为别名(Alias)添加或移除索引
  • 创建索引
  • 删除索引
  • 关闭索引
  • 删除快照
  • 打开已经关闭的索引
  • 更改分片路由配置
  • 强制合并索引
  • 重建索引(包括从远程的集群)
  • 更改索引每个分片的副本数量
  • 为索引创建快照
  • 从快照还原
  • rollover indices(当某个别名指向的实际索引过大的时候,自动将别名指向下一个实际索引)

腾讯云无服务器云函数(SCF)中,已经配置了含有Curator的模板,用户可以直接应用模板,快速开始一个curator函数的配置:

第一步 创建云函数

进入到腾讯云无服务器函数(scf)的控制台,点击新建。

scf_1.jpgscf_1.jpg

选择创建模板函数,通过关键字curator搜索相关模板,点击下一步

第二步 编辑Curator的执行参数

scf_2.jpgscf_2.jpg

根据您购买的ES集群信息编辑模板的相关参数

  • esServer: es集群vpc内网的ip和端口
  • esPrefix: es索引的前缀,如logstash-
  • esCuratorTimeStr: 索引中的时间格式,如%Y-%m-%d。这样将会匹配形如logstash-2017-12-04为名字的索引。
  • esCuratorTimeUnit: 时间周期,可以选择小时(hours),天(days),月(months)等。
  • esCuratorTimeCount: 时间间隔,和上面的时间周期一起来配置过期索引的时间。

点击完成进入到配置页面

第三步 指定云函数运行的私有网络

在函数配置页面点击编辑。在网络配置中,选择ES服务所在的vpc和子网

scf_4.jpgscf_4.jpg

第四步 配置云函数的定时触发

点击触发方式,添加触发,设置为每天触发一次:

scf_5.jpgscf_5.jpg

在触发方式中,配置触发周期,可以配置每天触发或选择自定义触发,点击保存。

0 人点赞