Pinecone 无服务器向量数据库公开预览

2024-02-29 15:19:52 浏览数 (2)

作者 | Renato Losio

译者 | 明知山

策划 | 丁晓昀

最近,Pinecone 宣布了其新的无服务器向量数据库的公共预览,旨在降低基础设施管理成本,同时提高生成式人工智能应用的准确性。

根据向量数据库专家的说法,读、写和存储的分离显着降低了各种规模和类型的工作负载的开销。多租户计算层使用新的索引和检索算法实现了按需检索,从而实现了对 blob 存储进行内存高效的向量搜索。

与基于 pod 的索引类似,Pinecone 无服务器支持实时索引更新、元数据过滤、混合搜索和命名空间。Pinecone 创始人兼首席执行官 Edo Liberty 在讨论其性能时表示:

性能也得到了保证。实际上,对于热命名空间,与基于 pod 的索引相比,无服务器索引提供了较低的延迟,而召回率大致相同。热命名空间是定期接收查询的命名空间,‍因此在多租户工作线程中进行了本地缓存。冷启动查询具有较高的延迟。

据 Pinecone 称,检索增强生成 (RAG) 将大型语言模型 (LLM) 与向量数据库结合起来,通过三种不同的方式增强 LLM 的知识:RAG 可以提供最新信息,利用领域外知识,并解决幻觉问题。

在“重新构想向量数据库,实现知识丰富的 AI”一文中,Pinecone 工程副总裁 Ram Sriharsha 描述了团队为何以及如何重建 Pinecone,并讨论了向量数据库的重要作用:

LLM 很容易产生幻觉。研究人员已经证明,即使是在训练模型的数据上,RAG 也能降低产生幻觉的可能性。此外,RAG 系统可以引用信息的原始来源,允许用户验证这些来源,甚至使用另一个模型验证答案中的事实是否有支持的来源。

Ampt 的 CEO 兼创始人 Jeremy Daly 则表示:

它被吹捧为 "遏制 AI 幻觉的突破性进展",但考虑到其他主要数据库也正在添加向量功能,分析人士表示,其接受者可能会很少。

Pinecone 并不是市场上唯一支持无服务器向量存储的参与者,其他数据库和数据平台供应商也提供了支持向量的无服务器数据库,包括 MongoDB 和 Snowflake。

尽管 Pinecone 声称,与基于 pod 的索引相比,大多数用户将感受到使用 Pinecone 无服务器会降低成本,但目前的定价并未完全针对高吞吐量应用进行了优化;存在读取被限制的可能性,并且预计将来会针对高吞吐量使用情况更新定价。

社区对这个新的选项反响热烈,开发者要求提高读取限制和将工作负载从 pod 转移到无服务器的选项。另外,Pinecone 发布了基于 Pulumi 的 Pinecone AWS 参考架构,用于部署使用 Pinecone 无服务器进行语义搜索的分布式系统。

无服务器选项的初始预览目前仅在一个 AWS 区域(us-west-2)提供,Pinecone 希望未来将支持其他地区以及 Azure 和 GCP。

Pinecone 无服务器目前处于公共预览阶段,存储每月每 GB 0.33 美元,读取每百万单位 8.25 美元,写入每百万单位 2 美元,试用该服务可获得 100 美元的使用积分。

查看英文原文

https://www.infoq.com/news/2024/02/pinecone-serverless-database/

声明:本文为 InfoQ 翻译,未经许可禁止转载。

0 人点赞