从数据库到数据仓库，最后到数据湖[1]，随着数据量和数据源的增加，数据格局正在迅速变化。数据湖市场预计增长近 30%[2]，将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。此外从 2022 年数据和人工智能峰会[3]来看...

随着区块链技术的使用越来越广泛，存储在区块链上的数据量也在增加。这是因为更多的人在使用该技术，而每笔交易都会给区块链增加新的数据。此外，区块链技术的使用已经从简单的资金转移应用，如涉及使用比特币的应用，发展到更...

腾讯游戏广告业务对数据准确性和实时性均有诉求，因此数据开发团队分别搭建了离线及实时数仓。技术视角下，这是典型的Lambda架构，存在数据口径不一致、开发维护成本高等弊端。在降本增效的大背景下，我们针对结合计算引擎Fl...

根据Google的说法，对“大数据”的兴趣已经持续了好几年，而且在过去几年里真正的兴起。这篇文章的目的是为了帮助突出数据湖泊和数据仓库之间的差异，帮助您就如何管理数据做出明智的决定。...

使用Iceberg构建湖仓一体架构进行数据仓库分层，通过Flink操作各层数据同步到Iceberg中做到的离线与实时数据一致，当项目中有一些离线临时性的需求时，我们可以基于Iceberg各层编写SQL进行数据查询，针对Iceberg DWS层中的数...

“数据湖存储”冠军杯是数据湖领域内的世界级赛事，随着云上“数据湖存储”产品理念的逐步普及，今年的比赛也获得了国内外众多球迷的关注。腾讯云以COS、GooseFS、GooseFSx、元数据加速器、COS加速器等球员组成的球队一...

Apache Hudi是一个基于数据库内核的流式数据湖平台，支持流式工作负载，事务，并发控制，Schema演进与约束；同时支持Spark/Presto/Trino/HIve等生态对接，在数据库内核侧支持可插拔索引的更新，删除，同时会自动管理文件大小，数据Clus...

你曾经是否有构建一个开源数据湖[1]来存储数据以进行分析需求？数据湖包括哪些组件和功能？

Apache Hudi 是一个流式数据湖平台，将核心仓库和数据库功能直接引入数据湖。Hudi 不满足于将自己称为 Delta 或 Apache Iceberg 之类的开放文件格式，它提供表、事务、更新/删除、高级索引、流式摄取服务、数据聚簇/压缩...