最新 最热

Flink集成iceberg在生产环境中的实践

目前我们的大数据系统里,主要承接的业务是部门内的一些业务日志数据的统计、分析等,比如网关日志数据,服务器监控数据,k8s容器的相关日志数据,app的打点日志等。主要的流任务是flink任务是消费kafka的数据,经过各种处理之后...

2021-02-26
1

Flink 状态管理详解(State TTL、Operator state、Keyed state)

Flink官网的自我介绍:Apache Flink® — Stateful Computations over Data Streams,可以看出状态计算是 Flink 引以为豪的杀手锏。那什么是带状态的计算呢?简单说计算任务的结果不仅仅依赖于输入,还依赖于它的当前状态。...

2021-02-24
0

Flink 开发生产问题汇总,亲自解决的才是最宝贵的

当一个Flink App背压的时候(例如由外部组件异常引起),Barrier会流动的非常缓慢,导致Checkpoint时长飙升。

2021-02-24
1

Flink 源码阅读环境准备,并调试 Flink-Clients 模块

读文档和读源码的目的是不一样的,就拿 Apache Flink 这个项目来说,如果你想知道 Flink 的使用功能,设计思想,实现原理,看官方文档就足够了;如果你想了解的就是具体细节,比如说 StreamGraph 是怎么生成的或者是 Exactly Once ...

2021-02-24
0

正面PK Spark | 几大特性垫定Flink1.12流计算领域真正大规模生产可用

在小编的记忆里,Flink 自从出现在大众视野中,一直在高速迭代。Flink1.10版本之前因为重大功能的缺失(主要是和Hive的兼容性),笔者一直都不推荐直接应用在大规模的生产实践中,可以做小范围内业务尝试。Flink 1.10版本可以...

2021-02-23
1

TiKV + Flink = 最佳人气流批一体库|TiDB Hackathon 2020 优秀项目分享

近日,由 TiDB 社区主办,专属于全球开发者与技术爱好者的顶级挑战赛事——TiDB Hackathon 2020 比赛圆满落幕。今年是 TiDB Hackathon 第四次举办,参赛队伍规模创历届之最,共有 45 支来自全球各地的队伍报名,首次实现全球联...

2021-02-23
0

flink中如何自定义Source和Sink?

动态表(Dynamic tables)是Flink的Table&SQL API的核心概念,用于以统一方式处理有界和无界数据。

2021-02-19
0

Flink集成数据湖之实时数据写入iceberg

随着大数据处理结果的实时性要求越来越高,越来越多的大数据处理从离线转到了实时,其中以flink为主的实时计算在大数据处理中占有重要地位。

2021-02-07
1

阅读 Flink 源码前必知必会 - SPI 和 ClassLoader

Java 中的类加载器,是 Java 运行时环境的一部分,负责动态加载 Java 类到 Java 虚拟机的内存中。

2021-02-07
1

Flink Client 实现原理与源码解析(保姆级教学)

这次我们的目的是,在本地的 IDEA 中去 debug flink-clients 代码,然后远程提交给 flink standalone 集群上去执行,看一看 flink 客户端在提交代码之前都干了什么。...

2021-02-07
0