day06-07_FlinkSQL&Table今日目标了解Flink Table&SQL发展历史了解为什么要使用Table API & SQL掌握Flink Table&SQL进行批处理开发掌握Flink Table&SQL进行流处理开发掌握常用的开发案例Flink-SQL的常用算子Flink Ta...

day05_Flink容错机制今日目标Flink容错机制之CheckpointFlink容错机制之重启策略存储介质StateBackendCheckpoint 配置方式状态恢复和重启策略Savepoint手动重启并恢复并行度设置Flink状态管理 状态就是基于 key 或者...

并添加Watermark来解决一定程度上的数据延迟和数据乱序（最多延时 3 秒）问题。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-znYxlAeB-1624261970363)(assets/image-20210507151242102.png)]

day02-03_流批一体API今日目标 流处理原理初探 流处理概念（理解） 程序结构之数据源Source（掌握） 程序结构之数据转换Transformation（掌握） 程序结构之数据落地Sink（掌握） Flink连接器Connectors（理解） 流处理原理初探 Flin...

Spark、Flink、Beam Beam编写完适用于Spark、Flink使用

自从Flink出了FlinkCDC之后，我们对数据库日志的采集就变得方便了许多了，除去了MaxWell、Cannel、OGG等第三方组件的繁琐配置，目前实现CDC有两种方式：HQL实现 和 DataStreamAPI实现(推荐)。...

数据仓库的数据体系严格、治理容易，业务规模越大，ROI 越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI 越低，但胜在灵活。

导读：大家好，我是来自唯品会实时平台 OLAP 团队的王玉，主要负责唯品会这边 Presto、Kylin、ClickHouse、Kudu，这些在 OLAP 比较常用组件的开源修改、组件优化还有维护的工作，并且我们还负责一些为业务指导、设计 OLAP 方案...