Spark Streaming是一个可扩展，高吞吐，容错能力强的实时流式处理处理系统。一般的系统架构图是，数据从一个源点，经过Sparing Streaming处理，最后汇聚到一个系统。Spark Streaming的数据来源可以非常丰富，比如Kafka, Flume, T...

Kafka作为一个高性能的消息队列中间件，有着高效的消息存储方式。我们知道在Kafka中，消息是以topic的形式进行逻辑上的隔离，一个topic又可以分为多个分区，当我们发送消息的时候，会根据某种规则（可以是默认规则，也可以是自定义...

许多大型的电商系统，直播系统，流媒体系统，每天都会产生大量的数据，包括不仅限于交流，交易、浏览等等，这些行为会产生大量的数据，当这些数据源产生数据后，需要有一个组件获取数据源的数据，将数据写到 kafka，在传统的解决办法中，一...

作者：朱丹阳，腾讯云监控开发工程师 腾讯云消息队列 CKafka 简介 消息队列 CKafka（Cloud Kafka）是基于开源 Apache Kafka 消息队列引擎，提供高吞吐性能、高可扩展性的消息队列服务。消息队列 CKafka 完美兼容 Apache Kafka ...

导语：介于TDMQ还没有公网的访问功能，不可能买台CVM安装windows吧，VPN又只能支持协议类型： IKE/IPsec，意思是企业用户才能用，对于个人就只能再想办法了，但办法总比问题多。本地开发测试环境使用pulsar的单机版，生产使用TDMQ，这...

导语：介于TDMQ还没有公网的访问功能，不可能买台CVM安装windows吧，VPN又只能支持协议类型：IKE/IPsec，意思是企业用户才能用，对于个人就只能再想办法了，但办法总比问题多。本地开发测试环境使用pulsar的单机版，生产使用TDMQ，这样...

团队在日常工作中，一般情况下使用的消息队列是腾讯云 CKafka。CKafka 提供了高可靠的开箱即用消息队列能力，让我们在日常能够放心使用，减少花在运维上的投入。不过即便如此，我们还是需要学习 Kafka 的一些基本概念和功能，...

导语：当你的业务系统既要对实时数据进行处理也要对离线数据进行分析时，这时候可以来了解一下Flume。

导语：用CKafka作一个消息缓冲，用Filebeat收集日志，然后将日志传到Ckafka中。

一、云函数支持 CLS 触发器正式发布 发布时间： 2020-11-23 产品介绍： CLS 是主流函数触发场景，本次版本更新主要拓展了云函数的使用场景，使云函数可以直接消费到日志触发内容。 核心场景如下： ETL 日志加工日志数据通过云...