最近因为云原生日志收集的需要，我们打算使用Filebeat作为容器日志收集工具，并对其进行二次开发。开源日志收集组件众多，之所以选择Filebeat，主要基于以下几点：...
今天介绍的一个开源的 github 项目，主要是实现了对 GAN 训练过程的可视化代码，项目链接如下：
大家都知道Kafka是一个高吞吐的消息队列，是大数据场景首选的消息队列，这种场景就意味着发送单位时间消息的量会特别的大，那既然如此巨大的数据量，kafka是如何支撑起如此庞大的数据量的分发的呢？今天我们从 kafka架构 以如...
private JobBuilderFactory jobBuilderFactory;
在成功创建一个job后，Spring Batch 默认在项目启动时候执行配置的job。往往在正常业务处理中，需要我们手动或者定时去触发job，所以这边便引入了jobLauncher、jobOperator两个执行器。...
在开发过程中，我们经常需要读取数据后，经过一系列业务逻辑的操作，进而写入数据到指定持久化过程。Spring Batch为我们提供了ItemProcessor接口进行数据处理。...
1.对于chunk类型的Step,spring batch为我们提供了用于管理它的状态
根据 Kafka 消息大小规则设定，生产端自行将 max.request.size 调整为 4M 大小，Kafka 集群为该主题设置主题级别参数 max.message.bytes 的大小为 4M。
作者徐蓓，腾讯云专家工程师，长期从事云计算 IaaS、PaaS 架构和研发工作，现负责腾讯云 TKE 资源调度、离在线混部、大数据云原生化等领域。
