2024年4月26日,在中国信通院组织的首家检索增强生成(RAG)技术要求专项测试中,腾讯云ES完成了专项测试的全部内容,成为首个完成此项测试的产品。
中国信通院云计算与大数据研究所大数据与智能化部依托中国通信标准化协会大数据技术标准推进委员会(CCSA TC601),联合40余家企业的70余位专家共同编制完成了《检索增强生成(RAG)技术要求》标准,腾讯云为核心参编企业之一。标准包含知识库构建能力、知识检索能力、内容生成能力、质量评估能力、平台能力等五大能力域,17个能力子域,50个能力项。
腾讯云 ES 的优势不仅仅停留在标准阶段,RAG核心能力充分吸收社区全球业务实践的经验,并在性能优化、GPU支持方面取得了突破。落地应用层面,以微信读书App为例,腾讯云 ES 助力读者更深刻、更快速地获取知识。
1、腾讯云ES产品介绍
腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核并集成X-Pack,支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,同时也提供免运维、自动弹性、按需使用的 Serverless 模式。
作为日志和搜索场景的首选解决方案,腾讯云 ES 开源贡献亚太第一。使用 ES 可高效构建信息检索、日志分析、运维监控等服务,其独特的向量检索功能更可帮助企业构建基于语义、图像等的 RAG 深度应用。
近期上线的8.11.3版本,提供了强大的云端AI增强能力,包含了实现RAG所需的所有功能的综合性引擎,支持在统一技术栈中完成文本和向量的混合搜索,实现自然语言处理和大模型的集成,让企业具备由AI驱动的高级搜索能力,为搜索和分析带来全新体验。
2、腾讯云ES实现RAG的优势
实现 RAG 应用并非易事,不仅需要向量数据库,还需要对业务场景有深入理解、进行大量数据处理和算法优化,同时用户行为的理解和反馈也是实现理想效果的关键。对此,腾讯云ES提供了完整的解决方案。
1. 一站式解决方案
腾讯云ES提供了从模型上传、向量生成、向量存储、向量检索、LLM大模型对接的一站式解决方案,超越传统单点解决方案,满足企业构建RAG 应用的全方位需求。
2. 专有机器学习节点
支持上传、管理、部署向量模型,高效完成向量生成,有效提升向量推理能力,同时与数据节点隔离,保障在线检索业务稳定性。
3. 行业领先卓越的性能
最大支持4096维,千亿级向量规模,10亿级向量检索平均响应延迟控制在毫秒级。相同规格下,腾讯云ES通过自研查询链路优化和分布式锁的改造,有更显著的性能提升和成本优势。
4. 独有的向量和文本混合搜索能力
混合搜索利用向量检索的多样性,返回多种不同的检索结果,满足不同用户查询需求和偏好,结合关键词检索的逻辑运算、排序、过滤等功能,实现更复杂的查询需求,使搜索结果更准确和可解释。
3、腾讯云ES在RAG领域的典型应用场景
1. 知识库问答:从大规模的知识库中检索相关信息,并生成与用户查询相匹配的高质量回答;
2. 专家系统:将专家领域的知识和规则整合到RAG模型,实现更准确、专业化的问题回答;
3. 智能客服:将客户问题作为查询,从文本语料库中检索相关信息,然后结合生成模块生成适当的回答或解决方案。
4、未来展望
构建 RAG 应用虽然在完善解决方案的支持下变得相对容易,但调试检索相关性仍然是一项需要搜索经验和专业能力的挑战。在这方面,腾讯云ES 一直走在行业前列,通过提供最完善和最丰富的查询和排序的调优能力,以及强大而广泛的社区支持,甚至是生成式大模型在公共数据集上对 ES 能力的学习,可以方便地从各种渠道获得帮助,以对查询进行调优,这一点,对于技术选型甚至是项目的最终成败都至关重要。
未来,腾讯云将继续深耕大数据领域,为各行业客户提供更加轻快、易用、智能化的解决方案,以满足企业级生产环境的更多需求,助力数字经济高质量发展。
关注腾讯云大数据公众号
邀您探索数据的无限可能