导语 | Flink已经成为未来流计算趋势,目前在很多大厂已经有了大规模的使用。最近在学习Flink源码,就想把自己学习的过程分享出来,希望能帮助到志同道合的朋友。开始阅读源码,说明读者已经对flink的基本概念有一些了解,这里...
1.首先自定义个 KafkaDeserializationSchemapublic class CustomKafkaDeserializationSchema implements KafkaDeserializationSchema<Tuple2<String, String>> {@Override//...
我们都知道 flink 消费 kafka 是一个 partition 对应一个 task,但比如说 flink task 数多于 kafka partition 时。flink 是如何处理这个空闲的 task 的。
本文目的是给自己备忘的,在后面的工作和学习中若想快速搭建Flink环境用于开发,可以照此进行;
自从2003-2006年,Google发表了三篇著名的大数据相关论文(Google FS,MapReduce,Big Table)后,内存问题一直困扰大数据工程师们。
Flink官方推荐使用Logback替代默认的Log4j作为日志框架。我们之前一直用Log4j,最近切换成了更优秀的Logback,但是配置起来略有点麻烦,本文简述配置过程。...
二、Flink 是如何处理 Data Type 的 首先Flink会根据自身的序列化器进行序列化,如果不行,则默认回退到 Kryo 序列化器进行序列化。
本文来自B站实时平台负责人郑志升在 Flink Forward Asia 2019 上的技术分享,重点介绍了B站基于 Apache Flink 的流式计算平台建设,以及结合AI的案例实践。仅出于知识传播目的进行分享,所有内容版权归其个人及 Flink 社区...
摘要:本文由贝壳找房实时计算负责人刘力云分享,主要内容为 Apache Flink 在贝壳找房业务中的应用,分为以下三方面:
摘要:小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1....