什么是向量?
向量是数学、物理学和工程科学等多个自然科学中的基本概念,它是一个具有方向和长度的量,用于描述问题,如空间几何、力学、信号处理等。在计算机科学中,向量被用于表示数据,如文本、图像或音频。此外,向量还代表AI模型对文本、图像、音频、视频等非结构化数据的印象。
基本原理
向量相似度搜索的基本原理是通过将数据集中的每个元素映射为向量,并使用特定相似度计算算法,如基于余弦相似度的、基于欧氏相似度或基于Jaccard相似度等算法,找到与查询向量最相似的向量。
向量数据库
最近一年,以 ChatGPT、LLaMA 为代表的大语言模型的兴起,将向量数据库的发展推向了新的高度。
新型数据库
向量数据库是一种在机器学习和人工智能领域日益流行的新型数据库,它能够帮助支持基于神经网络而不是关键字的新型搜索引擎。向量数据库不同于传统的关系型数据库,例如 PostgreSQL,其最初设计用于以行和列的形式存储表格数据。它也明显不同于较新的 NoSQL 数据库,例如 MongoDB,其主要是将数据存储在 JSON 文档中。
向量数据库是为存储和检索一种特定类型的数据而设计的:向量嵌入。它们本质上是机器学习过程的推理部分中运行新数据的过滤器。
大模型应用
在大模型部署中,向量数据库可用于存储大模型训练产生的向量嵌入。通过存储代表大模型广泛训练的潜在数十亿个向量嵌入,向量数据库执行最重要的相似性搜索,找到用户提示(他或她提出的问题)和特定向量嵌入之间的最佳匹配。
大模型爆火后,更多企业开始大力投资向量数据库以提升算法准确性和效率。据相关统计,2023 年 4 月的 AI 投资领域呈增长趋势,尤其是向量数据库领域的投资活动颇为活跃,Pinecone、Chroma 和 Weviate 等向量数据库初创公司都在这个月获得了融资。
Redis 7.2
Redis 7.2 里程碑版本发布,向量搜索速度提高16倍!
Redis 7.2 全面提高了从新的 Redis 核心功能到工具的易用性标准,同时确保客户端、集成和文档提供无缝、统一的体验。此外,随着构建生成式 AI 应用程序面临的日益严峻的挑战,Redis Enterprise 已得到增强,可以存储向量嵌入,同时提供高性能索引和查询搜索引擎。
让人工智能创新更容易实现
利用大语言模型 (LLM) 和生成式人工智能的努力正在以惊人的速度改变计算机软件,我们一直在努力在我们的平台中提供功能,以使这一努力变得容易。我们一直为世界上一些最大的客户(包括 OpenAI)提供支持,并在使机器学习 (ML)(现在是矢量数据库)无缝且易于访问方面进行了多年的投资。
我们也理解那些正在尽最大努力在此基础上进行创新的企业的担忧。例如,我的第一次拜访客户是一位大型金融服务客户。该公司有多个专门在 Redis 上运行的 ML 工作负载,在 5 个 9 的可用性下运行着数百 TB 的数据。
企业正在寻找一种经过验证的企业级数据库,具有主动-主动地理分布、多租户、基于标签的混合搜索、基于角色的访问、嵌入式对象(即 JSON)、文本搜索功能和索引别名。我们在 Redis Enterprise 上内置了所有这些功能并经过了实战测试。
Redis 通过多种旨在提高效率、降低成本以及增强可扩展性和性能的策略来支持其数据库服务中的生成式 AI 工作负载。Redis 的矢量数据库支持两种矢量索引类型:FLAT(强力搜索)和 HNSW(近似搜索),以及三种流行的距离度量:余弦、内积和欧几里得距离。其他功能包括范围查询、混合搜索(组合过滤器和语义搜索)、JSON 对象支持等。
构建和部署 LLM
检索增强生成 (RAG)
在 RAG 框架内,使用预先训练的 LLM 和客户自己的数据生成响应。许多组织希望利用生成式人工智能的力量,而不需要构建自己的模型或对现有模型进行微调。此外,他们对于是否与商业法学硕士分享其专有数据犹豫不决。
这就是 Redis Enterprise 的用武之地。作为矢量数据库,它提供强大的混合语义搜索功能来精确定位相关数据。此外,它还可以部署为外部特定领域的知识库。这可确保通用法学硕士获得最相关和最新的背景信息,从而提高结果质量并减少幻觉。
LLM 语义缓存
Redis Enterprise 通常用作可扩展缓存来存储先前回答的用户查询和结果。Redis 还使用语义缓存来识别和检索在语义上与输入查询足够相似的缓存响应,从而显着提高缓存命中率。这显着减少了发送到 LLM 服务的请求和令牌的数量,从而通过减少生成响应的时间来降低成本并提高性能。
推荐系统
法学硕士可以作为复杂的电子商务虚拟购物助理的支柱。Redis Enteprise 的上下文理解和语义搜索使应用程序能够理解客户查询、提供个性化产品推荐,甚至模拟对话交互——所有这些都是实时的。
文档搜索
在需要组织分析大量文档的情况下,LLM 支持的应用程序可以作为文档发现和检索的强大工具。Redis Enterprise 的混合语义搜索功能使得查明相关信息并从这些文档生成新内容成为可能。