腾讯云首发大数据高性能计算引擎Meson,支持三大产品线性能升级

2024-07-01 11:21:24 浏览数 (2)

6 月 28 日,腾讯云发布了行业首个大数据高性能计算引擎—— Meson ,通过多层级、通用化、智能化等优化理念和技术,为大数据通用计算性能带来体系化的提升。

目前, Meson 已登陆腾讯云数据湖、检索分析服务、云数据仓库三大业务线,为企业在湖仓一体分析、向量检索、海量数据离线计算等业务场景带来卓越的性能表现。

突破传统加速瓶颈

多层级优化打造高性能计算引擎

一直以来,业内针对计算加速分别有硬件与软件两个主流方向。但在 AI 时代下数据计算场景越来越多样,单一方向的加速性能瓶颈凸显。

腾讯大数据高性能计算引擎采用了多层级的加速技术,整体结合了包括软件层的向量化计算、JIT Compilation 等一系列软件加速工程、以及硬件层的 GPU 及 FPGA 加速、AI 层的 AI based Optimizer 、负载智能预测等一系列多层级技术,为大数据通用计算性能带来体系化的提升。

除此之外,腾讯云高性能计算引擎解决方案还致力于实现通用化、套件化,让其能够成为腾讯云大数据全体系产品的通用计算加速底座,满足现代数据分析和AI业务需求。

例如, Meson 套件中的腾讯云自研 C 向量化计算引擎,可以同时为腾讯云EMR、数据湖计算 DLC、云数据仓库 TCHouse 以及检索分析服务 ES 提供高效的软件加速服务,实现一套加速计算框架在多种产品上达到统一的计算加速体验。

在高性能计算引擎 Meson 套件中,腾讯云还重点瞄准“智能化”,通过 AI based Optimizer 、引擎负载预测、智能任务调度等一系列AI驱动的智能化功能,让融合了 Meson 套件的大数据产品能够获得智能化升级,让大数据系统越用越智能,用户越用越省心。

Meson 已落地三大产品线

性能倍速提升

腾讯云大数据产品家族,作为业界领先的云计算服务提供者,一直致力于为用户提供全面、高效的大数据处理解决方案。而随着 Meson 高性能计算引擎的加入,这一产品家族的性能得到了全面升级。

在腾讯云 EMR 以及 DLC 两个数据湖产品中,基于 Meson 腾讯云已经实现了完全兼容 Spark 的向量化计算能力。数据湖 Meson 引擎围绕数据湖存算分离场景进行了一系列的投入,在业内首发实现了基于 Iceberg 大规模云原生数据湖的全场景查询分析加速,针对基准TPC-DS数据,数据湖 Meson 引擎获得了超过 2.27 倍的性能提升,单个 SQL 最高可达 6.2 倍的性能提升。

发布会上,腾讯云以在同一套作业环境中,先后运行 2 段 SQL ,对比了开源 Spark 引擎开源和 Meson 的区别。结果显示,在同样资源和配置下,作业运行效率提升了近 3 倍。

在搜索分析领域,腾讯云 Elasticsearch 在 Meson 的助力下,成功实现了基于腾讯自研紫霄GPU 的向量检索加速。这意味着用户在面对庞大的文本数据时,能够享受到更快速的检索体验。此外, Meson 还为腾讯云ES 提供了智能化的资源调度和优化功能,进一步提升了检索的稳定性和准确性。

目前,腾讯云 ES 已为云知、安灯、乐享、微信读书等腾讯业务提供了一站式的 RAG 服务。其中,微信读书基于腾讯云 ES 和混元大模型实现的 AI 问书功能,在满足全部功能跟性能要求的基础上,成本从原来的纯内存 400 台 64G 机器下降到 30 台,并大幅降低了运维的成本。

除此之外,作为企业级托管型云原生数据仓库产品,TCHouse 在 Meson 的支持下,实现了计算加速的最佳实践。无论是离线批处理还是实时流处理,TCHouse 都能借助 Meson 的高效计算能力,为用户提供高效、稳定的数据处理服务。同时, Meson 还为 TCHouse 提供了智能化的查询优化功能,有效降低了查询成本,提升了用户体验。

未来,腾讯云将持续优化高性能计算引擎 Meson ,为用户在更多计算场景带来极致的性能提升。

0 人点赞