最新 最热

万字长文:基于Apache Hudi + Flink多流拼接(大宽表)最佳实践

业务侧通常会基于实时计算引擎在流上做多个数据源的 JOIN 产出这个宽表,但这种解决方案在实践中面临较多挑战,主要可分为以下两种情况:

2022-12-09
1

使用 Apache Hudi 实现 SCD-2(渐变维度)

数据是当今分析世界的宝贵资产。在向最终用户提供数据时,跟踪数据在一段时间内的变化非常重要。渐变维度 (SCD) 是随时间推移存储和管理当前和历史数据的维度。在 SCD 的类型中,我们将特别关注类型 2(SCD 2),它保留了值的...

2022-12-09
1

基于 Apache Hudi + Presto + AWS S3 构建开放Lakehouse

数据仓库被认为是对结构化数据执行分析的标准,但它不能处理非结构化数据。包括诸如文本、图像、音频、视频和其他格式的信息。此外机器学习和人工智能在业务的各个方面变得越来越普遍,它们需要访问数据仓库之外的大量信...

2022-12-09
1

基于Apache Hudi的多库多表实时入湖最佳实践

CDC(Change Data Capture)从广义上讲所有能够捕获变更数据的技术都可以称为CDC,但本篇文章中对CDC的定义限定为以非侵入的方式实时捕获数据库的变更数据。例如:通过解析MySQL数据库的Binlog日志捕获变更数据,而不是通过S...

2022-12-09
1

基于 Apache Hudi + dbt 构建开放的Lakehouse

本博客的重点展示如何利用增量数据处理和执行字段级更新来构建一个开放式 Lakehouse。我们很高兴地宣布,用户现在可以使用 Apache Hudi + dbt 来构建开放Lakehouse。...

2022-12-09
1

基于 Apache Hudi 构建分析型数据湖

为了更好地发展业务,每个组织都在迅速采用分析。在分析过程的帮助下,产品团队正在接收来自用户的反馈,并能够以更快的速度交付新功能。通过分析提供的对用户的更深入了解,营销团队能够调整他们的活动以针对特定受众。只有...

2022-12-09
1

构建云原生数据仓库和数据湖的最佳实践

数据仓库、数据湖和数据流的概念和架构数据库可以为解决业务问题提供补充。本文介绍了如何使用原生云技术构建现代数据堆栈。

2022-12-08
1

汽车领域全球最大的供应商之一麦格纳利用多云技术开启汽车行业的未来

作为推动下一代电动汽车发展的力量,汽车领域全球最大的供应商之一麦格纳公司正依靠混合多云方法打造数字孪生,利用海量数据设计先进的汽车零部件。...

2022-12-08
1

百度爱番番基于图技术、流式计算的实时CDP建设实践

导读:随着营销3.0时代的到来,企业愈发需要依托强大CDP能力解决其严重的数据孤岛问题,帮助企业加温线索、促活客户。但什么是CDP、好的CDP应该具备哪些关键特征?本文在回答此问题的同时,详细讲述了爱番番租户级实时CDP建设...

2022-12-08
1

从SPL看开放计算能力的意义

关系数据库提供了SQL,因而有较强的计算能力,但很遗憾的是,这个计算能力是封闭的。所谓计算封闭性,是指要被数据库计算和处理的数据,必须事先装入数据库之内,数据在数据库内部还是外部是很明确的。与之相对,计算开放性是指数...

2022-12-07
2