最新 最热

Flink基础教程:FlinkX RDB介绍与基本演示

针对关系型数据库,FlinkX-RDB封装了基于JDBC规范的查询与插入等公共操作,各个数据源可通过继承FlinkX-RDB模块实现各自逻辑,目前已支持绝大部分市面上的RDB数据源:...

2021-05-14
0

任务运维和数据指标相关的使用

建议:一些简单ETL任务,并且源数据流量在一定范围内, tm个数1、全局并行度1、内存1G。

2021-05-14
0

Flink DataStream —— 端到端的Exactly-Once保障

​一个一直运行的Flink Stream程序不出错那肯定时很好的,但是在现实世界中,系统难免会出现各种意外,一旦故障发生,Flink作业就会重启,读取最近Checkpoint的数据,恢复状态,并继续接着执行任务。...

2021-05-10
0

尝鲜!Flink1.12.2+Hudi0.9.0集成开发

Hudi社区最近发生了一些有趣的变化,Hudi集成Flink的方案也已经发布,我个人在官网根据文档试验了一把,整体感觉还不错。我们目前并没有在生产环境中使用,但是随着社区发展和功能越来越完善,相信会有更多的业务开始尝试使用H...

2021-05-07
0

实操 | Flink1.12.1通过Table API / Flink SQL读取HBase2.4.0

昨天群里有人问 Flink 1.12 读取Hbase的问题,于是看到这篇文章分享给大家。本文作者Ashiamd。

2021-05-07
1

Flink DataStream 如何实现双流Join

在离线 Hive 中,我们经常会使用 Join 进行多表关联。那么在实时中我们应该如何实现两条流的 Join 呢?Flink DataStream API 为我们提供了3个算子来实现双流 join,分别是:...

2021-05-06
1

以直播平台监控用户弹幕为例详解 Flink CEP

我们在看直播的时候,不管对于主播还是用户来说,非常重要的一项就是弹幕文化。为了增加直播趣味性和互动性, 各大网络直播平台纷纷采用弹窗弹幕作为用户实时交流的方式,内容丰富且形式多样的弹幕数据中隐含着复杂的用户属...

2021-04-29
0

flink源码分析之kafka consumer的执行流程

线上flink任务稳定运行了两个多月了,突然之间收到了消息堆积较多的报警,kafka上看到的现象是消息堆积较多。问过业务人员得知,对应的流表在前一天重新刷了一遍数据,在我们的这个任务中有两次维表关联,而且内层有一个split...

2021-04-29
0

Apache Hudi在Linkflow构建实时数据湖的生产实践

Linkflow 作为客户数据平台(CDP),为企业提供从客户数据采集、分析到执行的运营闭环。每天都会通过一方数据采集端点(SDK)和三方数据源,如微信,微博等,收集大量的数据。这些数据都会经过清洗,计算,整合后写入存储。使用者可以通...

2021-04-29
1

大数据实时处理框架之flink win10快速部署

jdk1.8:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

2021-04-27
0