全面提升数据库日志处理效率,EventBridge 支持 DTS 数据订阅功能正式发布

2022-04-14 15:40:10 浏览数 (1)

背景和价值

在实际业务中常常遇到需要从数据库中获取关键业务的数据变化信息,并将这些信息同步到下游业务进行订阅、获取和消费的场景。

如何快速搭建该实时处理链路,往往有一定的开发成本,同时由于业务要求,不同的下游也依赖不同处理逻辑,难以有一套通用的可复制方案。

目前,事件总线 EventBridge 已正式支持 DTS 数据订阅功能,腾讯云的 DTS 数据传输服务不仅解决上游数据库数据流出的问题,并且支持 MySQL、MariaDB、TDSQL 等多种关系型数据库数据订阅,方便用户搭建云数据库、完成异构系统之间的数据同步。

用户通过配置 DTS 连接器,基于 DTS 数据订阅实时拉取源实例的 Binlog 增量日志,完成业务数据变化的消费与处理,同时可以实现下游不同目标的分发,快速完成数据处理链路的搭建,如缓存更新,ETL 实时同步,业务异步解耦等。

功能优势

  • 低代码: 全部流程配置化,仅需几步配置即可完成数据订阅完整链路搭建,无需自行开发 consumer,降低开发配置门槛。
  • 多目标: 下游支持计算、存储、消息队列等不同类型目标源,可根据实际业务需求,完成从数据库到指定目标的投递。
  • 高性能: 支持批量投递,支持多目标分发,内部集成数据过滤、格式转换等能力,降低数据同步链路延迟,提升处理效率。

业务场景

1. 数据转投

完成数据库变更数据到下游目标的实时同步,如 Mysql --> Kafka, Mysql --> ES,Pgsql --> ES/COS 等场景

2. 数据处理

下游支持直接触发 SCF 云函数,进行业务变更事件的清洗、脱敏等实时计算处理

3. 多目标分发

同一个 EB 支持配置不同投递目标,可以根据实际业务情况,将事件筛选过滤后投递到指定下游,例如可以将全量 DDL、DML 操作到 ES 存储的同时,筛选 DML 操作发送到 SCF 进行处理,均可在一个 EB 服务内进行.

配置流程

1、登陆 DTS 控制台 :https://console.cloud.tencent.com/dts/dss,完成数据订阅实例创建。

2、进入 EventBridge 控制台:https://console.cloud.tencent.com/eb,选择指定事件集,进入事件集详情页,在「连接器」部分添加 DTS 数据订阅连接器。

3、为该事件集绑定事件规则,指定过滤条件和投递目标,完成链路配置。

4、配置完成后,即可完成数据库事件到下游指定目标的实时同步。

详细操作可参考官网文档:https://cloud.tencent.com/document/product/1359/72306

欢迎扫描下方二维码,免费咨询解决方案

  • 云函数 SCF :https://cloud.tencent.com/product/scf?from=15939
  • 事件总线 EventBridge :https://cloud.tencent.com/product/eb?from=15940

如您对产品有任何疑问

0 人点赞