背景
许多大型的电商系统，直播系统，流媒体系统，每天都会产生大量的数据，包括不仅限于交流，交易、浏览等等，这些行为会产生大量的数据，当这些数据源产生数据后，需要有一个组件获取数据源的数据，将数据写到 kafka，在传统的解决办法中，一是通过 Lofstash、Filebeat 等开源的数据存储方案处理，二是自己写代码实现这种逻辑。开始数据量小的时候还可以，随着业务的不断扩张，数据越来越大，为了保障可用性、可靠性以及性能相关的内容，需要大量的研发资源投入，因此，亟待新的解决方案支持。
方案设计
我们可以通过腾讯云severless Ckafka解决这个难题。
腾讯云 Serverless 云函数具有天然的优势：
- 支持多语言
- 学习成本低，不需要学习开源方案，不需要学习分布式调度
- 无限的弹性扩容能力
- 多重触发方式，事件触发、定时触发、主动触发
- 集群稳定性和可用性的维护成本几乎没有
- 按实际用量计费，1ms计费，费用很低 同时，腾讯云 Serverless 云函数 Ckafka 提供自建的 UI 交互界面，可进行流量告警配置，同时控制台上可进行扩容配置且安全可靠。那么我们设计整体架构如下：
image.png对比使用云主机自建 Ckafka Consumer 的方式，云函数帮用户屏蔽掉了很多不必要的开销：
- 云函数控制台上可以一键开启 Ckafka 触发器，帮助用户自动创建 Consumer，并由云函数平台来维护组建的高可用；
- Ckafka 触发器自身支持很多实用的配置：支持配置 offset 位置、支持配置1~1万消息聚合条数、支持配置 1~1万次重试次数等； 基于云函数开发的业务逻辑，天然支持弹性伸缩，无需额外搭建和维护服务器集群等。
