Elasticsearch：Elasticsearch 中的慢日志

2021-01-08 16:11:21 浏览数 (1)

【腾讯云 Elasticsearch Service】高可用，可伸缩，云端全托管。集成X-Pack高级特性，适用日志分析/企业搜索/BI分析等场景

Shard 级慢速搜索日志允许将慢速搜索（查询和获取阶段）记录到专用日志文件中。日志记录是任何应用程序不可缺的一部分。 对于像 Elasticsearch 这样的分布式解决方案，它必须处理大量的请求，因此日志记录不可避免，其重要性至关重要。

顾名思义，慢速日志用于记录慢速请求，无论是搜索请求还是索引请求。 我们可以设置“慢”阈值，以便仅记录那些高于该阈值的请求。

对于 Elasticsearch，慢速日志很重要，主要是因为：

  • 它们有助于确定应该与 Elasticsearch 通信的应用程序是否正在这样做。
  • 我们可以检查影响 Elasticsearch 的查询并进行验证。
  • 日志记录可以提供有关索引/群集运行状况的重要信息，从而有助于维护群集。

现在，根据您的理论，让我们介绍可用的慢速日志的主要类型及其用例。

慢日志分类

Elasticsearch 中的慢日志主要有两种：搜索慢日志 （search slow logs）和索引慢日志 （index slow logs）。 让我们讨论一下。

Search Slow Logs

搜索慢速日志用于记录慢速搜索。 慢度阈值取决于应用程序及其 Elasticsearch 实现细节。 每个应用程序可以具有不同的阈值。

在 Elasticsearch 中进行搜索分为两个阶段：

  1. 查询阶段-在查询阶段，Elasticsearch 收集相关结果的文档 ID。 完成此阶段后，仅返回与搜索匹配的文档的 ID，并且不会再出现其他信息，例如字段或它们的值等。
  2. 获取阶段-在获取阶段，使用来自查询阶段的文档 ID 来获取实际文档，由此可以说搜索请求是完整的。

搜索慢速日志显示查询和查询的获取阶段的拆分时间。 因此，我们能够完整地了解完成查询和获取阶段所花费的时间，并且能够检查整个查询本身。

Index Slow Logs

索引慢日志用于记录索引过程。 在 Elasticsearch 中对文档建立索引后，慢速索引日志会记录请求的记录，这些记录需要花费较长的时间才能完成。 同样，在这里，时间窗口也可以在索引日志的配置设置中进行调整。

默认情况下，启用后，Elasticsearch 将文档的前1000行记录到日志文件中。 可以将其更改为 null 或记录整个文档，具体取决于我们如何配置设置。

在下一部分中，让我们看看如何配置日志并检查上面讨论的两种慢速日志类型。

索引慢速日志记录设置

首先，创建要为其配置索引慢日志的测试索引。

代码语言：javascript复制
PUT testindex-slowlogs

现在为索引 “testindex-slowlogs” 配置慢日志，如下所示：

代码语言：javascript复制
PUT testindex-slowlogs/_settings{  "index.indexing.slowlog.threshold.index.warn": "10s",  "index.indexing.slowlog.threshold.index.info": "5s",  "index.indexing.slowlog.threshold.index.debug": "2s",  "index.indexing.slowlog.threshold.index.trace": "500ms",  "index.indexing.slowlog.level": "info",  "index.indexing.slowlog.source": "1000"}

我们可以通过 _settings 来更新这些配置。默认情况下，均未启用（设置为-1）。 级别（warn，info，debug, trace）允许控制将在哪个日志记录级别下记录日志。并非所有要求都进行配置（例如，只能设置warn阈值）。 几个级别的好处是能够针对违反的特定阈值快速 “grep”。默认情况下，Elasticsearch 将在慢速日志中记录 _source 的前1000个字符。 你可以使用 index.indexing.slowlog.source 进行更改。 将其设置为 false 或 0 将完全跳过对源的日志记录，将其设置为 true 将不考虑大小而记录整个源。 默认情况下，原始 _source 会重新格式化，以确保它适合单个日志行。 如果保留原始文档格式很重要，则可以通过将index.indexing.slowlog.reformat 设置为 false 来关闭重新格式化，这将导致源按“原样”记录，并可能跨越多个日志行。

为了便于测试，我们把上面的阈值都设置为0和默认值，我们使用 _settings 来修个我们的配置：

代码语言：javascript复制
PUT testindex-slowlogs/_settings{  "index.indexing.slowlog.threshold.index.warn": "0ms",  "index.indexing.slowlog.threshold.index.info": "0ms",  "index.indexing.slowlog.threshold.index.debug": "0ms",  "index.indexing.slowlog.threshold.index.trace": "0ms",  "index.indexing.slowlog.level": "trace",  "index.indexing.slowlog.source": "1000"}

这样如果其中的任何一个阈值是大于0的话，那么就会产生 index slow log。我们在 Kibana 中输入如下的一个文档：

代码语言：javascript复制
POST testindex-slowlogs/_doc{  "price": 9925,  "name": "Nariko"}

我们可以找到在 Elasticsearch logs 目录下的文件 elasticsearch_index_indexing_slowlog.log：

我们打开这个 elasticsearch_index_indexing_slowlog.log 的内容，我们可以看到：

在这里我们可以看到所有的索引慢速日志的记录。因为我们所设置的阈值为0，所以任何一个操作都会触发相应的索引慢日志操作。在实际的应用中，可以根据自己的实际要求分别进行阈值的设置。

这些日志提供以下信息：

  • time stamp
  • log level
  • type of log
  • node name
  • index name
  • time taken in micro/milli seconds
  • index type
  • document id
  • "_source" field

使用此信息，我们可以了解索引操作的过程，并可以检测/调试任何异常（如果存在）。

Search Slow Logging

与慢索引日志相似，搜索慢日志将应用于特定索引。 记录所有搜索请求的示例配置如下：

代码语言：javascript复制
PUT testindex-slowlogs/_settings{  "index.search.slowlog.threshold.query.warn": "0ms",  "index.search.slowlog.threshold.query.info": "0ms",  "index.search.slowlog.threshold.query.debug": "0ms",  "index.search.slowlog.threshold.query.trace": "0ms",  "index.search.slowlog.threshold.fetch.warn": "0ms",  "index.search.slowlog.threshold.fetch.info": "0ms",  "index.search.slowlog.threshold.fetch.debug": "0ms",  "index.search.slowlog.threshold.fetch.trace": "0ms",  "index.search.slowlog.level": "info"}

由于上述设置的所有参数值均为0ms，因此将记录所有搜索请求。 日志文件位于日志目录下，名称为：“elasticsearch_index_search_slowlog.log”

对索引运行以下查询：

代码语言：javascript复制
GET testindex-slowlogs/_search{  "query": {    "match": {      "name": "Nariko"    }  },  "sort": [    {      "price": {        "order": "desc"      }    }  ]}

成功执行此查询后，打开上述搜索慢日志文件。 您会发现看起来像这样的日志：

我们可以查看文件 elasticsearch_index_search_slowlog.log。由于我们所设置的日志里的阈值都为0，所以每一个搜索都会生产相应的日志记录。在实际的使用中，我们可以根据自己的情况设置相应的阈值。查看 elasticsearch_index_search_slowlog.log 文件：

如您所见，上面为单个搜索生成了2个日志。 这是因为搜索是按分片方式执行的，并且在默认配置下，索引中有2个分片。 当我们执行搜索时，请求被传递到2个分片中的每个分片，并生成了2个日志。

在这些日志中，我们可以查看详细信息，例如搜索类型，节点以及带有详细查询的分片号信息。

结论

在本教程中，我们探讨了 Elasticsearch 慢日志的重要性。 我们介绍了索引和搜索慢日志，以及配置示例和日志样本。

参考：

【1】https://qbox.io/blog/slow-logs-in-elasticsearch-search-index-config-example

最新活动

包含文章发布时段最新活动，前往ES产品介绍页，可查找ES当前活动统一入口

Elasticsearch Service自建迁移特惠政策>>

Elasticsearch Service 新用户特惠狂欢，最低4折首购优惠 >>

Elasticsearch Service 企业首购特惠，助力企业复工复产>>

关注“腾讯云大数据”公众号，技术交流、最新活动、服务专享一站Get~

大数据 ElasticsearchService

0 人点赞