腾讯云数据库最新研究成果亮相SIGMOD大会,前沿技术在云原生数据库中落地应用

2021-06-30 10:10:21 浏览数 (2)

6月20-25日,2021届 SIGMOD大会在在西安举办,这也是07年后此大会再度回归中国。ACM SIGMOD大会自1974年美国首届起,被公认是数据库领域具有最高学术地位的国际性会议,收录的论文代表了数据库相关技术的最高水平,也是未来技术发展的重要风向标。此次腾讯云数据库技术最新研究成果入选SIGMOD论文,其技术创新和行业引领进一步受到认可。

(腾讯云数据库技术总监-邱敏)

6月23日,腾讯云数据库技术总监邱敏老师受邀为大会带来主题演讲《The Evolution of Tencent Database Technologies 腾讯云数据库的演进》,介绍腾讯数据库技术的演进历史和服务不同用户需求的产品序列,并重点分享腾讯云原生数据库 TDSQL-C发展过程中遇到的挑战,以及为解决这些挑战所做的技术创新。

(腾讯云数据库产品矩阵)

腾讯云原生数据库 TDSQL-C(原CynosDB),是基于全新计算存储分离的分布式数据库架构,融合传统数据库和云计算技术优势,100%兼容MySQL和PostgreSQL。目前,TDSQL-C实例数同比增长超过3400%,覆盖游戏电商直播金融SaaS等行业;架构优势初显,主从延迟、扩缩容、HA、RTO等核心指标实现跨越式进步;不仅仅单实例1PB存储/100wQPS, serverless形态也助力下一代计算。在刚过去不久的618电商购物节中,TDSQL-C 云原生数据库 “C”位出道,承载了十亿级别的QPS、PB级别的存储量,切实保障整个大促期间的消费体验流畅有序。

(云原生数据库 TDSQL-C架构图)

会上,邱敏老师代表腾讯云数据库产品团队分享了团队被SIGMOD会议收录论文的研究成果在TDSQL-C(原CynosDB)中的实现与验证,该论文《Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory.》通过一种新颖、低代价且有效的热数据识别方法,有效提升了系统整体性能与性价比,为数据库领域技术再添助燃剂。

          《 Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory.》

以往的数据库架构中使用一级本地缓存,内存容量易超限,缓存远程I/O数据带宽消耗高,因而成本高跨度大。对此,TDSQL-C 在存储架构中引入二级缓存(Secondary cache)。在今年的研究类论文《Spitfire : A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory》中,腾讯云原生数据库 TDSQL-C首次提出了多级缓冲管理器Spitfire的概念,将热数据页面保持在DRAM缓存中,同时将暖数据保存在非易失存储NVM中,通过模拟退火,寻找最优数据迁移策略,进一步加强辅助存储层缓存结构。SIGMOD评委对Spitfire的创新性给予了很高的评价,文中关于NVM硬件和数据库架构体系结合的研究和建议,都是此前的研究工作尚未充分涉及到的。该成果应用在TDSQL-C产品上,可在不显著增加成本的情况下,对读性能提升超过100%,是数据库软硬结合可行性探索上坚实而重要的一步。软硬协同作为TDSQL-C核心技术布局之一,携手星星海实验室,持续释放新型存储介质、网络、计算红利,为腾讯云客户提供领先的云原生数据库服务。

云原生数据库 TDSQL-C由腾讯数据库研发中心倾力打造,该数据库团队聚集数据库领域多位专家人才,深耕数据库领域十余年,致力于打造行业领先的数据库解决方案以及高性能存储平台。

作为国内数据库行业先行者,腾讯数据库研发中心为公司内外数十万客户提供专业的数据库服务,涵盖互联网 、金融 、音视频、 智慧城市等领域,规模和增长在全球云数据库市场名列前茅。未来,腾讯还会在数据库赛道上持续加码,面向社会及高校引进更多技术人才,结合腾讯在QQ、微信等服务十几亿C端用户的能力、经验和资源,为 B端客户持续提供好用、易用、安全的数据库产品。

近期热文推荐

《鸿图之下》的破局之路

——腾讯首款沙盘战略手游运营复盘

一图看透腾讯大佬们的做事方法论

原来腾讯优秀数据分析师是这样的

↓↓点击查看入选论文~

0 人点赞