最新 最热

Flink之基础概念

开发flink应用我们需要引入对应的maven依赖flink-java、flink-streaming-java,以及 flink-clients(客户端,也可以省略)

2023-10-20
1

Flink之水位线

flink时间语义1、Event Time:事件创建时间;2、Ingestion Time:数据进入Flink的时间;3、Processing Time:执行操作算子的本地系统时间,与机器相关;

2023-10-20
1

从kafka与Flink的事务原理来看二阶段提交与事务日志的结合使用

kafka实现了Exactly Once(精确一次)语义,主要是基于生产者端幂等以及kafka服务端事务保障。

2023-10-19
1

聊聊Flink CDC必知必会

核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。...

2023-10-19
1

聊聊Flink必知必会(四)

Flink Streaming API借鉴了谷歌数据流模型(Google Data Flow Model),它的流API支持不同的时间概念。Flink明确支持以下3个不同的时间概念。

2023-10-19
1

聊聊Flink必知必会(二)

Flink是一个有状态的流处理框架,因此需要对状态做持久化,Flink定期保存状态数据到存储空间上,故障发生后从之前的备份中恢复,这个过程被称为Checkpoint机制。而Checkpoint为Flink提供了Exactly-Once的投递保障。...

2023-10-19
1

聊聊Flink的必知必会(一)

Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。使用官网的语句来介绍, Flink 就是 “Stateful Computations o...

2023-10-19
1

【实操记录】Oracle数据整库同步至Apache Doris

异常:Unknown operation oracle-sync-database 处理办法: 需要使用最新的 flink-doris-connector 包https://repository.apache.org/content/repositories/snapshots/org/apache/doris/

2023-10-18
1

Flink CDC MySQL同步MySQL错误记录

问题1:Encountered “(” 处理方法:去掉int(11),改为int

2023-10-18
2

flink datastream api实现数据实时写入hudi

Apache Hudi(发音为“hoodie”)是下一代流数据湖平台。 Apache Hudi 将核心仓库和数据库功能直接引入数据湖。 Hudi 提供表、事务、高效的更新插入/删除、高级索引、流式摄取服务、数据集群/压缩优化和并发性,同时将您的...

2023-10-18
1