最新 最热

www6669988com请拨18687679362_环球国际Flink源码走读(一):Flink工程目录

导语 | Flink已经成为未来流计算趋势,目前在很多大厂已经有了大规模的使用。最近在学习Flink源码,就想把自己学习的过程分享出来,希望能帮助到志同道合的朋友。开始阅读源码,说明读者已经对flink的基本概念有一些了解,这里...

2020-03-30
1

Flink消费kafka如何获取每条消息对应的topic

1.首先自定义个 KafkaDeserializationSchemapublic class CustomKafkaDeserializationSchema implements KafkaDeserializationSchema<Tuple2<String, String>> {@Override//...

2020-03-26
0

Flink 消费 kafka 时如何处理空闲 task

我们都知道 flink 消费 kafka 是一个 partition 对应一个 task,但比如说 flink task 数多于 kafka partition 时。flink 是如何处理这个空闲的 task 的。

2020-03-26
0

Docker部署flink备忘

本文目的是给自己备忘的,在后面的工作和学习中若想快速搭建Flink环境用于开发,可以照此进行;

2020-03-25
0

Flink内存管理

自从2003-2006年,Google发表了三篇著名的大数据相关论文(Google FS,MapReduce,Big Table)后,内存问题一直困扰大数据工程师们。

2020-03-20
0

Flink Logback日志与邮件报警配置

Flink官方推荐使用Logback替代默认的Log4j作为日志框架。我们之前一直用Log4j,最近切换成了更优秀的Logback,但是配置起来略有点麻烦,本文简述配置过程。...

2020-03-18
0

写给大忙人的Flink的Data Types

二、Flink 是如何处理 Data Type 的 首先Flink会根据自身的序列化器进行序列化,如果不行,则默认回退到 Kryo 序列化器进行序列化。

2020-03-18
0

B站实时平台的架构与实践

本文来自B站实时平台负责人郑志升在 Flink Forward Asia 2019 上的技术分享,重点介绍了B站基于 Apache Flink 的流式计算平台建设,以及结合AI的案例实践。仅出于知识传播目的进行分享,所有内容版权归其个人及 Flink 社区...

2020-03-11
0

贝壳找房基于 Flink 的实时平台建设

摘要:本文由贝壳找房实时计算负责人刘力云分享,主要内容为 Apache Flink 在贝壳找房业务中的应用,分为以下三方面:

2020-03-11
1

小米流式平台架构演进与实践

摘要:小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1....

2020-03-11
1