Elasticsearch向量搜索进化史：从7.x到8.15的关键创新

回顾：向量搜索创新的时间轴

回顾在Elasticsearch从最早版本到最新8.15.0版本中，关于速度、规模和相关性的所有变化，真是令人惊叹，我们已经走了多远。

这篇文章汇集了所有为使Elasticsearch和Lucene成为最佳向量数据库所付出的努力和时间线。如果你想了解更多关于Lucene向量搜索性能的重大进展及其他Lucene改进，可以查阅Lucene向量数据库的进步和Lucene改进。

Elasticsearch 7.x

我们的故事始于Elasticsearch 7，当时一些有远见的工程师认为向量搜索很重要，并主张我们应该支持它。

版本7中的一些变化包括引入了高维向量的字段类型、向量相似性函数以及用于密集向量的向量脚本函数，以用于暴力搜索。

这只是个开始...

Elasticsearch 8.0

Elasticsearch 8.0引入了原生支持ANN搜索。

此外，Elasticsearch还引入了对浮点向量的HNSW kNN搜索的实验性支持。

Elasticsearch 8.2

在Elasticsearch 8.2中，我们为kNN搜索添加了过滤支持。

Elasticsearch 8.2附带了Lucene 9.1，其中包括带有过滤器的kNN搜索，通过减少I/O来提高向量合并速度，并通过展开和自动向量化加快l2_norm计算。

Elasticsearch 8.3

Elasticsearch 8.3附带了Lucene 9.2，通过执行邻居的多样性检查和修正基础层连接数来提高HNSW图的性能。

Elasticsearch 8.4

在Elasticsearch 8.4中，kNN搜索正式可用，并添加到_search端点。这解锁了混合搜索与过滤、重排序以及结合语义搜索和词法搜索的功能。

Elasticsearch 8.5

在Elasticsearch 8.5中，我们为dense_vector字段添加了支持合成源的功能。

Elasticsearch 8.5附带了Lucene 9.4，增加了对字节编码向量的支持，并通过在索引期间构建hnsw图来优化性能，以提高刷新时间。

Elasticsearch 8.6

Elasticsearch 8.6增加了对字节向量的支持，使用户可以在Elasticsearch外部量化向量。

Elasticsearch 8.7

Elasticsearch 8.7增加了同时搜索多个kNN字段的能力。

Elasticsearch 8.7还附带了Lucene 9.5，提高了HNSW图存储效率。

Elasticsearch 8.8

Elasticsearch 8.8是一个重大版本。我们不仅将dense_vector查询的维度支持增加到2048，还推出了稀疏向量查询的text_expansion查询和最先进的ELSER V1模型。

Elasticsearch 8.8附带了Lucene 9.6，通过重用最大的图来提高HNSW合并性能。

Elasticsearch 8.9

8.9是另一个重大版本，引入了SIMD支持和Panama Vector API。

此外，query_vector_builder正式可用，并引入了RRF。

Elasticsearch 8.9还附带了Lucene 9.7，添加了多段并行kNN查询，加快了浮点向量的暴力搜索，并通过Panama Vector API加速了向量的暴力搜索。

Elasticsearch 8.10

在Elasticsearch 8.10中，引入了多段搜索并行性。

Elasticsearch 8.11

在Elasticsearch 8.11中，我们利用Lucene中的段落向量搜索支持，通过嵌套字段支持Elasticsearch中的段落向量。此外，我们将向量维度的最大数增加到4096，并增加了最大内积支持。我们重新引入了sparse_vector字段映射，发布了改进并正式可用的ELSER V2模型，并开始默认索引密集向量（使用动态映射）。

Elasticsearch 8.11还利用了Lucene 9.8，增加了MIP支持。