背景
在使用ElasticSearch来分词查询,并分页返回指定的数据条数,但是当我们每次想得到分页数据条数超过十条的时候,ElasticSearch总是只能返回十条。这是因为ElasticSearch为了查询的速度,在默认的情况下已经设置了分页数据只能返回10条,所以我们需要通过改变size(返回数据的大小)去改变分页查询的数据条数大小,若没有设置size只能是返回10条。
一、查询要带上from-size
在es中query查询如果不指定from-size值,es默认from=0,size=10,默认一次查询10条数据
如下查询语句,11个唯一id查询,如果不指定from,size,只返回10条数据,而不是11条
代码语言:javascript复制{
"query": {
"bool": {
"must": [
{
"terms": {
"id": [4190,4191,4192,4193,4194,4195,4196,4197,4198,4199,4200]
}
}
]
}
},
"sort": [
{
"created_time": {
"order": "desc"
}
}
]
}
所以正确的查询是加上from=0,size=11,即指定预期的size。
查询要指定sort排序字段
在es中query查询如果不指定sort排序字段,翻页查询,可能会出现重复查询,分页混乱问题。
如下,每页查询10条,查询多页,可能会有重复的数据返回,此时查询要sort排序字段,尽可能的唯一,如创建时间或者主键、唯一ID字段等。
代码语言:javascript复制{
"from": 0,
"size": 10,
"query": {
"bool": {
"must": [{
"term": {
"month": "2022-12"
}
}]
}
}
}
总体来说,这是由于 ES 的分片存储与分片检索机制导致的。一个常见的原因就是ES的_score评分引起的。ES默认的排序,恰恰就是按 _score倒序。 在全部doc的_score 都是0分的时候,分页就会错乱,有时候出现在第一页的结果很可能会重复出现在第二页,第三页 (取决于当时shards 返回的结果的顺序)。
三、from-size分页设置窗口大小
如果初次使用且对es不熟悉的话,当from size分页查询超过10000时候,会报如下异常:
Result window is too large, from size must be less than or equal to: 10000 but was 22020. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the index.max_result_window index level setting
上边 from size=(pageNum-1)*size size=(1101-1)*20 20=22020>10000,抛出了异常
当然10000也可以调整,如最大上限调整为800000
代码语言:javascript复制PUT my_index/_settings
{"index.max_result_window":"800000"}
之所以es默认设置最大查询量1w,与es的分布式存储和from size的分页原理有关,可以参考之前的文章
本篇文章如有帮助到您,请给「翎野君」点个赞,感谢您的支持。
首发链接:https://cloud.tencent.com/developer/article/2304042