例如 Weaviate 推出开源向量数据库,凭借其易用、开发者友好、上手快速、API 文档齐全等特点脱颖而出。同样,Zilliz Cloud/Milvus 向量数据库因为能够高性能、低时延处理海量数据而备受瞩目。
二者都是专为向量数据打造,但适用于不同场景。Weaviate 更适合需要快速集成向量数据库的开发人员。如果应用系统更注重可扩展性、高性能、低时延,Zilliz Cloud/Milvus 是更合适的选择,因为其架构更灵活,性能更佳,更稳定,适用于对性能指标有着严格要求的场景。
本文将撇开这些表面差异,通过比较二者的性能基准测试结果和 Weaviate Cloud 的相关特性,深入探究 Weaviate Cloud 和 Zilliz Cloud 的差异。
01.
Weaviate Cloud v.s. Zilliz Cloud:性能大比拼
最近,随着检索增强生成系统(RAG)的持续火爆,开发者对于“如何选择一个向量数据库”的疑惑也越来越多。过去几周,我们从性能和特性能力两个方面对 Weaviate Cloud 和 Zilliz Cloud 进行了详细的对比。在对比过程中,我们使用了开源的性能基准测试套件 VectorDBBench,围绕诸如每秒查询次数(QPS)、每美元查询次数(QP$)以及时延等关键指标展开测试。
- 测试用数据集
以下为测试中使用的两类数据集:
- 数据集 1 包含 1,000,000 条 768 维的向量数据。
- 数据集 2 包含 500,000 条1,536 维的向量数据。
- 测试对象
以下为测试时使用的实例。这些实例在硬件配置上基本相近:
- Zilliz Cloud (1cu-perf):Zilliz Cloud 1 CU 性能型实例
- Zilliz Cloud (1cu-cap):Zilliz Cloud 1 CU 容量型实例
- Zilliz Cloud (2cu-cap):Zilliz Cloud 2 CU 容量型实例
- Weaviate Cloud (Standard)
- Weaviate Cloud (Business Critical)
注意:关于 Zilliz Cloud 计算单元(CU)的更多信息,可以参考适配各类大模型应用!手把手教你选择 Zilliz Cloud 实例类型。
- 每秒查询次数(QPS)
测试结果显示,在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 QPS 分别是 Weaviate Cloud (Business Critical) 实例的 9 倍、8 倍和 5 倍。
在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 QPS 分别是 Weaviate Cloud (Business Critical) 实例的 8 倍、6 倍和 3 倍。
下图展示了各实例在不同用例下的性能评分(百分制)情况,分数越高,性能越强。具体的可参考https://github.com/zilliztech/VectorDBBench/tree/main#leaderboard。
由此可以看出,Zilliz Cloud 在该指标上全面碾压 Weaviate Cloud。
- 每美元查询次数(QP$)
在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 QP$ 分别是 Weaviate Cloud (Standard) 实例的 520 倍、332 倍和 292 倍。
在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 QP$ 分别是 Weaviate Cloud (Standard) 实例的 403 倍、258 倍和 194 倍。
下图展示了各实例在不同用例下的性能评分(百分制)情况,分数越高,性能越强。
由此可以看出,Zilliz Cloud 在该指标上全面碾压 Weaviate Cloud。
- 时延
在 1,000,000 条 768 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 P99 时延分别是 Weaviate Cloud (Business Critical) 实例的 26 倍、20 倍和 19 倍。
在 500,000 条 1,536 维的向量数据中进行检索时,Zilliz Cloud 三款实例的 P99 时延分别是 Weaviate Cloud (Business Critical) 实例的 32 倍、18 倍和 7 倍。
下图展示了各实例在不同用例https://zilliz.com/vector-database-benchmark-tool#comparison-section下的性能评分(>1 分制)情况,分数越接近 1,性能越强。
由此可以看出,Zilliz Cloud 在该指标上全面碾压 Weaviate Cloud。
上述性能基准测试结果由开源的 VectorDBBench https://github.com/zilliztech/VectorDBBench工具提供。在工具的 GitHub 主页上,还可以看到向量数据库的排行榜。VectorDBBench 为主流的向量数据库和相关云服务提供了公正的性能测试基准。该工具有着良好的易用性,帮助开发者轻而易举地在众多的向量数据库云服务和开源向量数据库中找到最佳选择。
02.
Weaviate Cloud 特性对比
随着向量数据库可以存储的数据量呈几何级数的增长,性能也成为了向量数据库的重大挑战。为了保障数据检索性能,数据库的跨节点横向扩展能力至关重要。另外,数据插入速率、检索速率以及底层硬件的不同可能会衍生出不同的应用需求,这也让全局参数调节能力成为向量数据库的必备能力之一。
- 向量数据库为何而生
向量数据库是用来存储通过机器学习模型生成的非结构化数据的向量表征,为其创建索引,并在其中进行检索的一套全托管解决方案。它应该提供如下特性:
- 可扩展性和参数调节能力
- 多租户和数据隔离
- 完整的 API 套件
- 直观的用户界面和控制台
- 可扩展性
- 功能
- 专门打造
关于更多详情,参见比较页面https://zilliz.com.cn/comparison/milvus-vs-weaviate。