最新 最热

如何获取流式应用程序中checkpoint的最新offset

对于流式应用程序,保证应用7*24小时的稳定运行,是非常必要的。因此对于计算引擎,要求必须能够适应与应用程序逻辑本身无关的问题(比如driver应用失败重启、网络问题、服务器问题、JVM崩溃等),具有自动容错恢复的功能。...

2020-08-10
1

实时计算Flink在游戏行业的实时数仓建设实践

某游戏公司开发了个游戏APP,该公司在APP中会发布一些游戏场景、游戏角色、装备、精美皮肤等内容,玩家在线娱乐,产生充值购买等行为。业务的构建涉及到几个端:...

2020-08-10
1

Apache Beam的Docker Demo

Apache Beam 是统一的批/流数据处理的编程模型。本文主要是参考官方文档,用 Docker 来快速跑起来一个用 Beam 来构建的 Flink 程序来处理数据的 Demo。

2020-08-06
1

Flink 自定义触发器实现带超时时间的 CountWindow

Flink 的 window 有两个基本款,TimeWindow 和 CountWindow。TimeWindow 是到时间就触发窗口,CountWindow 是到数量就触发。

2020-08-06
1

构建pyflink镜像

想做一个 pyflink 的镜像,所以打算在 python 的镜像里直接安装 apache-flink 的 pip 包,FROM 的镜像是 python:3.6.10-alpine3.11,发现报错,FileNotFoundError: [Errno 2] No such file or directory: 'cc'......

2020-08-06
1

Flink job cluster on Kubernetes

之前文章介绍了 Flink session cluster on Kubernetes,需要注意,这种部署方式,可以在同一个 Cluster 上多次提交 Flink Job,而本文介绍的,是一种将任务和镜像绑定的部署方式,即 Flink 集群是不共享的,其组件是单独属于一个 J...

2020-08-06
1

Flink 集群/任务容器化

Flink Dockerfile 走读已经介绍了 Flink 的镜像应该如何构建了,接下来,本文解释一下如何利用 Docker 来部署 Flink。

2020-08-06
1

Flink Session Cluster on K8S

Flink session cluster 是作为 K8S 的 Deployment,Flink 的作业会被提交到 session cluster。至于什么是 Deployment,不清楚的同学可以看Deployment。Flink session cluster 会包含以下组件:...

2020-08-06
1

使用Prometheus监控Flink

这篇文章介绍了如何利用Apache Flink的内置指标系统以及如何使用Prometheus来高效地监控流式应用程序。

2020-08-05
1

Flink 面试题

Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。

2020-08-05
1