Elasticsearch备份与还原：使用elasticdump

2023-11-17 20:00:31 浏览数 (3)

在数据管理的世界里，备份和还原数据是重中之重的日常工作，特别是对于Elasticsearch这样的强大而复杂的搜索引擎。备份不仅可以用于灾难恢复，还可以在数据迁移、测试或者升级等场景中发挥重要作用。

在本博客中，我们将会重点介绍如何使用一个非常实用的工具——elasticdump——来对Elasticsearch数据进行备份和还原。我们会覆盖单索引备份还原，全部索引备份还原以及特定前缀索引的备份还原。

注：我的使用场景是从A集群同步数据到B集群迁移

Elasticdump 简介

Elasticdump是一个开源工具，它可以用于对Elasticsearch索引的数据和映射(mapping)进行导入、导出操作。Elasticdump工作在命令行接口，通过简单直观的指令集操作Elasticsearch的索引数据。

安装 Elasticdump

Elasticdump是一个基于Node.js的工具，因此首先你需要确保你的系统中安装有Node.js。然后，你可以使用以下npm命令安装Elasticdump：

代码语言：shell复制
npm install -g elasticdump

单索引备份与还原

下面，我们首先介绍如何对单个索引进行备份和还原：

备份单个索引

为了备份一个特定的索引，我们可以使用以下命令：

代码语言：shell复制
elasticdump 
  --input=http://localhost:9200/INDEX 
  --output=/path/to/output/INDEX.json 
  --type=data

这个命令将会将索引INDEX的数据导出到指定路径下的INDEX.json文件。

对于有账号密码的Elasticsearch实例，则可以使用以下脚本：

代码语言：shell复制
elasticdump 
  --input=http://user:passwd@localhost:9200/INDEX 
  --output=/path/to/output/INDEX.json 
  --type=data

默认的速率是100条,可以通过limit 修改默认的导出数量：

代码语言：shell复制
elasticdump 
  --input=http://user:passwd@localhost:9200/INDEX 
  --output=/path/to/output/INDEX.json 
  --type=data --limit 10000

还原单个索引

相反，如果我们想从之前创建的备份中还原单个索引，可以使用以下命令：

代码语言：shell复制
elasticdump 
  --input=/path/to/output/INDEX.json 
  --output=http://localhost:9200/INDEX 
  --type=data --limit 10000

这将会将INDEX.json文件中的数据导入到Elasticsearch中的指定索引。

带账号密码的elasticsearch实例：

代码语言：shell复制
elasticdump 
  --input=/path/to/output/INDEX.json 
  --output=http://user:passwd@localhost:9200/INDEX 
  --type=data --limit 10000

所有索引备份与还原

备份所有索引

备份Elasticsearch中的所有索引可能需要一些额外的脚本，因为Elasticdump没有直接的方式来备份所有索引。以下是一个简单的bash脚本示例，用于备份所有索引：

代码语言：shell复制
#!/bin/bash
for index in $(curl -s http://localhost:9200/_cat/indices?h=index)
do
  elasticdump 
    --input=http://localhost:9200/${index} 
    --output=/path/to/output/${index}.json 
    --type=data
done

还原所有索引

还原所有索引通常涉及到遍历包含备份数据的文件，并将它们导入到相应的Elasticsearch索引中。这是一个简单的bash脚本示例，用于还原在一个文件夹中的所有索引备份：

代码语言：shell复制
#!/bin/bash
BACKUP_DIR="/path/to/backup/directory"
for backup_file in $(ls ${BACKUP_DIR}/*.json); do
  index_name=$(basename ${backup_file} .json)
  elasticdump 
    --input=${backup_file} 
    --output=http://localhost:9200/${index_name} 
    --type=data
done

在这个脚本中，我们假设备份文件的名字与索引的名字相对应，备份文件的扩展名为.json，通过移除.json，我们获取了原始的索引名以便于还原。

匹配前缀索引备份与还原

匹配前缀索引备份

有时我们可能需要备份名称有共同前缀的多个索引。下面是一个通过前缀备份多个索引的bash脚本示例：

代码语言：shell复制
#!/bin/bash
PREFIX="INDEX"
for index in $(curl -s http://localhost:9200/_cat/indices?h=index | grep ^${PREFIX})
do
  elasticdump 
    --input=http://localhost:9200/${index} 
    --output=/path/to/output/${index}.json 
    --type=data
done

带账号密码的备份脚本：

代码语言：shell复制
#!/bin/bash

# Elasticsearch的主机和认证信息
ELASTIC_HOST="xxxx:9200"
ELASTIC_USER="xxxx"
ELASTIC_PASS="xxxxx"

# 要备份的索引的前缀
INDEX_PREFIX="xxxx"

# 输出的备份目录
BACKUP_DIR="/root/elastic1/back2"

# 获取所有以master开头的索引
INDICES=$(curl --silent --user $ELASTIC_USER:$ELASTIC_PASS 
                 --request GET "http://$ELASTIC_HOST/_cat/indices/$INDEX_PREFIX*" | 
                 awk '{ print $3 }')

# 检查备份目录是否存在，如果不存在就创建它
mkdir -p "$BACKUP_DIR"

# 逐个备份索引
for INDEX in $INDICES; do
  elasticdump 
    --input=http://$ELASTIC_USER:$ELASTIC_PASS@$ELASTIC_HOST/$INDEX 
    --output=$BACKUP_DIR/$INDEX.json 
    --type=data --limit 10000 
done

还原符合特定前缀的索引

如果只希望还原带有特定前缀的索引，您可以使用以下bash脚本作为参考：

代码语言：shell复制
#!/bin/bash
PREFIX="your_prefix_here"
BACKUP_DIR="/path/to/backup/directory"
for backup_file in $(ls ${BACKUP_DIR}/${PREFIX}*.json); do
  index_name=$(basename ${backup_file} .json)
  elasticdump 
    --input=${backup_file} 
    --output=http://localhost:9200/${index_name} 
    --type=data
done

带密码的可以参考以下脚本（未实践，chatgpt生成，但是基本一眼扫过没有多大问题）

代码语言：shell复制
#!/bin/bash

# 源 Elasticsearch 的主机和认证信息
SOURCE_ELASTIC_HOST="xxxx:9200"
SOURCE_ELASTIC_USER="xxxx"
SOURCE_ELASTIC_PASS="xxxxx"

# 目标 Elasticsearch 的主机和认证信息
RESTORE_ELASTIC_HOST="yyyy:9200"
RESTORE_ELASTIC_USER="yyyy"
RESTORE_ELASTIC_PASS="yyyyy"

# 要备份的索引的前缀 - 对于恢复来说不需要改变
INDEX_PREFIX="xxxx"

# 输入的备份目录 - 同时用于备份和恢复
BACKUP_DIR="/root/elastic1/back2"

# 获取所有以 INDEX_PREFIX 开头的索引备份文件
BACKUP_FILES=$(ls $BACKUP_DIR | grep "$INDEX_PREFIX")

# 检查备份目录是否存在，并且是否有备份文件
if [ -z "$BACKUP_FILES" ]; then
  echo "没有发现匹配前缀的备份文件, 请检查你的备份目录."
  exit 1
fi

# 逐个恢复备份文件到新实例
for FILE in $BACKUP_FILES; do
  INDEX_NAME=$(basename $FILE .json)

  elasticdump 
    --input=$BACKUP_DIR/$FILE 
    --output=http://$RESTORE_ELASTIC_USER:$RESTORE_ELASTIC_PASS@$RESTORE_ELASTIC_HOST/$INDEX_NAME 
    --type=data --limit 10000

  # 可选: 如果你还想恢复 mapping 和 settings, 添加如下命令:
  # elasticdump 
  #   --input=$BACKUP_DIR/$INDEX_NAME-mapping.json 
  #   --output=http://$RESTORE_ELASTIC_USER:$RESTORE_ELASTIC_PASS@$RESTORE_ELASTIC_HOST/$INDEX_NAME 
  #   --type=mapping

  # elasticdump 
  #   --input=$BACKUP_DIR/$INDEX_NAME-settings.json 
  #   --output=http://$RESTORE_ELASTIC_USER:$RESTORE_ELASTIC_PASS@$RESTORE_ELASTIC_HOST/$INDEX_NAME 
  #   --type=settings
done

echo "恢复完成."

与还原所有索引的脚本类似，但这里通过限定文件路径 ${BACKUP_DIR}/${PREFIX}*.json 只选取带有特定前缀的备份文件。

值得注意的是，进行大规模数据还原时，可能会因为Elasticsearch集群的性能限制、配置或者网络条件等因素影响执行效率。建议优化Elasticsearch配置，并可能需要调整批次大小或者并发数来适应你的环境。

在还原环境之前，最好确保Elasticsearch集群处于健康状态并有足够的资源来处理数据恢复过程。这些脚本是简化版本，视具体环境可能需要进一步的优化和调整。请注意，在生产环境下执行脚本前务必进行充分测试。

其他备份实现方式

Elasticdump是实现Elasticsearch备份与还原的一种方式，但并不是唯一方式。以下列举了其他的一些方法：

  • 使用Elasticsearch自带的Snapshot and Restore功能，可以创建索引的快照并存储在文件系统或者支持的云存储服务中；
  • 使用Curator工具管理索引生命周期，包括创建和删除快照；
  • 第三方服务和插件如Elastic Cloud的备份功能或者开源插件如Cerebro。

确保在实施任何备份策略之前，都应该先在非生产环境下进行测试，以保证恢复过程中数据的完整性和准确性。

通过Elasticdump，我们可以灵活高效地进行Elasticsearch的数据备份和还原，但始终记得选择适合自己业务场景和数据规模的备份方案。

值的注意的

  1. 以上备份还原主要实现了data的部分，mapping 和 settings正常来说也最好能备份一下！
  2. multielasticdump 之前也尝试过，可以使用一下！
  3. 有没有增量同步的方式？貌似也可以通过logstash 这样的去做？还有企业版的ccr(Cross-Cluster Replication)?还有INFINI 企业版的也可以？
  4. --limit 的添加可以增加一下备份还原的速度的！

注：以上博客基本chatgpt生成，大部分脚本代码没有问题，有问题的应该略微调试一下就可以了

ElasticsearchService logstashelasticsearch elasticdump elastic

0 人点赞