最新 最热

Flink 对线面试官(三):6k 字,6 个面试高频实战问题(建议收藏)

本文主要是整理博主收集的 Flink 高频面试题。之后每周都会有一篇,助力大家拿下面试。

2022-04-04
1

个推基于Flink SQL建设实时数仓实践

作为一家数据智能企业,个推在服务垂直行业客户的过程中,会涉及到很多数据实时计算和分析的场景,比如在服务开发者时,需要对App消息推送的下发数、到达数、打开率等后效数据进行实时统计;在服务政府单位时,需要对区域内实时...

2022-03-28
1

基于 Kafka 的实时数仓在搜索的实践应用

Apache Kafka 发展至今,已经是一个很成熟的消息队列组件了,也是大数据生态圈中不可或缺的一员。Apache Kafka 社区非常的活跃,通过社区成员不断的贡献代码和迭代项目,使得 Apache Kafka 功能越发丰富、性能越发稳定,成为企...

2022-03-04
1

实时数仓:基于 Flink CDC 实现 Oracle 数据实时更新到 Kudu

Flink CDC 于 2021 年 11 月 15 日发布了最新版本 2.1,该版本通过引入内置 Debezium 组件,增加了对 Oracle 的支持。本方案主要对 flink-connector-oracle-cdc进行试用。首先在本地对 Oracle CDC 进行调试通过,然后结合...

2022-03-02
1

经验分享实时数仓实战命名规范和分层设计~~

通常的命名方式是:ODS_应用系统名(或缩写)_数据库类型_(数据库名称可省略)_数据表名_加载方式(增量还是全量),表名不能太长,一般不超过30字。如:...

2022-02-17
1

实时数据治理—当Atlas遇见Flink

Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效,高效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系统集成。

2022-01-25
1

Flink Forward Asia 2021 实时数据湖合集

Building The Real-time Datalake at ByteDance (00:00:00-00:22:47)

2022-01-19
1

基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓

本文基于Flink SQL与hudi构建准实时数仓,在Flink从kafka接入数据之后,即将所有数据存于hudi中,包括所有中间处理数据以及最终数据。文章《实时数仓|基于Flink1.11的SQL构建实时数仓探索实践 (qq.com)》描述了基于Flink S...

2022-01-18
1

腾讯云原生实时数仓建设实践

作者:龙逸尘,腾讯 CSIG 高级工程师 腾讯云原生实时数仓建设实践 实时数仓面临的挑战 实时数仓被广泛应用于腾讯各大业务,涉及的平台众多,从统计信息中可以看出,集群规模庞大,数据量极大。 复杂的使用场景和超大的数据量,导...

2022-01-14
1