最新 最热

架构师 | 数据仓库建设灵魂10问

笔者先后在外企,互联网,金融行业工作,从最初的ODS,DM架构到后面ODS,DWD,DWS,ADS架构都有较深的理解和应用,甚至在相当长的时间内,数仓设计一直作为一个常规的面试题目,来考核各层级的数仓开发和架构师。然而在实际的沟通的交流...

2021-03-24
1

基于Flink构建实时数据仓库.ppt

本文是来自2019年Apache Flink Meetup深圳站的资料,作者是OPPO的大数据平台负责人,本文主要讲述了OPPO基于Flink如何构建实时数据仓库。

2021-03-08
2

Flink 助力美团数仓增量生产

摘要:本文由美团研究员、实时计算负责人鞠大升分享,主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括:

2021-03-05
2

胖哥的经验 | 一款普适的实时数仓架构设计

首先我们来聊一聊实时数仓是怎么诞生的,在离线数仓的时候数据是T+1的也就是隔一天才能看到昨天的数据,这种形式持续了很久的时间,但是有些场景真的只有实时的数据才有用武之地。例如推荐、风控、考核等。那么这个时候实...

2021-01-20
2

实时数仓:Lambda架构

在某些场景中,数据的价值随着时间的推移而逐渐减少。所以在传统大数据离线数仓的基础上,逐渐对数据的实时性提出了更高的要求。

2021-01-06
2

Flink 数据湖 助力美团数仓增量生产

整个架构图分为三层,从下往上看,最下面一层是数据安全,包括受限域认证系统、加工层权限系统,应用层权限系统,安全审计系统,来保证最上层数据集成与处理的安全;...

2020-12-29
2

三歪连MySQL大表怎么DDL变更都不懂

随着业务的发展,用户对系统需求变得越来越多,这就要求系统能够快速更新迭代以满足业务需求,通常系统版本发布时,都要先执行数据库的DDL变更,包括创建表、添加字段、添加索引、修改字段属性等。...

2020-12-09
1

美团外卖实时数仓建设实践

导读:本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。在实践中,我们总结的最佳实践是:一个通用的实时生产平台 + 一个通用交互式实时分析引擎相互...

2020-11-10
2

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题,实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异,但是关于数仓建设的基...

2020-09-08
2

有赞数据中台建设实践

究竟什么是中台, 业界并没有一个标准答案, 各个厂商都有自己的定义. 笔者比较认可的一个定义是 ThoughtWorks 提出的"企业级能力复用平台". 各个领域涌现出很多中台产品, 如业务中台, 搜索中台, 数据中台等. 其中数据...

2020-08-25
1