最新 最热

5分钟Flink - 时间与语义案例详解

主要是针对数据乱序的问题,需要使用 eventtime 和 watermark 来解决

2020-09-08
1

5分钟Flink - 流处理API转换算子集合

本文总结了Flink Streaming的算子操作,统统简单实现一次算子操作类型,更加熟悉了Flink带来的便利,有时间可以浏览一次,理解一次,后面具体使用的时候,可以进行查看...

2020-09-08
1

5分钟Flink - 自定义Data Sink

继承上一篇Source源是MySQL的思路,本文想要想要将数据Sink到MySQL

2020-09-08
1

5分钟Flink - 自定义Source源

自定义Flink Source,案例分别实现了继承于SourceFunction的四个案例,三个完全自定义的Source, 另外一个Source为常见的MySQL,通过这几个案例,启发我们进行实际案例的Source研发...

2020-09-08
1

基于Canal与Flink实现数据实时增量同步(二)

在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据。在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。对于业务DB数据来说,从MySQL等关系型数据库的业务...

2020-09-08
1

Flink的处理背压​原理及问题-面试必备

反压机制(BackPressure)被广泛应用到实时流处理系统中,流处理系统需要能优雅地处理反压(backpressure)问题。反压通常产生于这样的场景:短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反...

2020-09-08
1

项目实践|基于Flink的用户行为日志分析系统

用户行为日志分析是实时数据处理很常见的一个应用场景,比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统,包括架构设计与代码实现。本文分享将完整呈现日志分析系统的数据处理链路,通过本文,你...

2020-09-08
1

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题,实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异,但是关于数仓建设的基...

2020-09-08
1

[记录点滴] Spark迁移到Flink的几个点

这个用 text.keyBy(0).timeWindow(start, end).reduce来完成

2020-09-07
1

[源码解析] Flink的Slot究竟是什么?(2)

Flink的Slot概念大家应该都听说过,但是可能很多朋友还不甚了解其中细节,比如具体Slot究竟代表什么?在代码中如何实现?Slot在生成执行图、调度、分配资源、部署、执行阶段分别起到什么作用?本文和上文将带领大家一起分析源...

2020-09-07
1