最新 最热

将 Flink 融合进消息系统,RocketMQ 为什么选择了与 Kafka 不一样的路

8 月 13 日,RocketMQ 迎来了 5.0 版本,这是继 2017 年发布 4.0 版本之后时隔 5 年的一次重大更新。5.0 版本进行了架构重塑,新增或者修改了超过 60% 的代码,但是对 4.0 的所有功能以及整体架构进行了无缝兼容,且没有引入任...

2021-10-15
1

基于Apache Hudi 的CDC数据入湖

首先我们介绍什么是CDC?CDC的全称是Change data Capture,即变更数据捕获,它是数据库领域非常常见的技术,主要用于捕获数据库的一些变更,然后可以把变更数据发送到下游。它的应用比较广,可以做一些数据同步、数据分发和数据...

2021-10-13
1

数据湖YYDS! Flink+IceBerg实时数据湖实践

互联网技术发展的当下,数据是各大公司最宝贵的资源之一已经是不争的事实。收据的收集、存储和分析已经成为科技公司最重要的技术组成部分。大数据领域经过近十年的高速发展,无论是实时计算还是离线计算、无论是数据仓库...

2021-10-13
1

2021年全网最详细大数据常见端口汇总❤️【建议收藏】❤️

2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习。

2021-10-11
1

女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术

阿里双11实时业务量和数据量每年都在大幅增长,去年双11的实时计算峰值达到了创纪录的每秒 40 亿条记录,数据体量也达到了惊人的7 TB 每秒,相当于一秒钟需要读完 500 万本《新华字典》。...

2021-10-11
1

2021年大数据Flink(四十四):​​​​​​扩展阅读 End-to-End Exactly-Once

Flink 在1.4.0 版本引入『exactly-once』并号称支持『End-to-End Exactly-Once』“端到端的精确一次”语义。

2021-10-11
1

2021年大数据Flink(四十五):​​​​​​扩展阅读 双流Join

https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/stream/operators/joining.html

2021-10-11
1

2021年大数据Flink(四十七):扩展阅读  File Sink

https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/file_sink.html

2021-10-11
1

2021年大数据Flink(四十八):扩展阅读  Streaming File Sink

https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/streamfile_sink.html

2021-10-11
1

Oceanus 实践-从0到1开发ClickHouse SQL作业

在 Oceanus 控制台的【集群管理】->【新建集群】页面创建集群,选择地域、可用区、VPC、日志、存储,设置初始密码等。

2021-10-11
1