最新 最热

网易数据湖探索与实践-范欣欣

导读:今天主要和大家交流的是网易在数据湖Iceberg的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发,介绍对数据湖Iceberg的探索以及实践之路。...

2021-03-05
0

漫说数据湖——如何建湖?如何做数据ETL?如何使用数据......

后来,为了更有效率的记事和工作,数据库出现了。数据库核心是满足快速的增删改查,应对联机事务。

2021-03-05
0

用 Apache Pulsar SQL 查询数据流

Apache Pulsar 越来越受欢迎,尤其在成为 Apache 软件基金会的顶级项目后。

2021-03-05
0

Apache Flink OLAP引擎性能优化及应用

导读:本次分享的主题为Apache Flink新场景——OLAP引擎,主要内容包括:

2021-03-05
0

从数仓到数据中台,谈技术选型最优解

21世纪的第一个10年,企业级数据仓库(EDW)从萌芽到蓬勃发展,“IOT”( IBM、Oracle、Teradata)占领了大部分市场,提供数据仓库建设从硬件、软件到实施的整体方案。...

2021-03-05
0

一文读懂数据湖及企业中的架构特点

数据湖概念的诞生,源自企业面临的一些挑战,如数据应该以何种方式处理和存储。最开始的时候,每个应用程序会产生、存储大量数据,而这些数据并不能被其他应用程序使用,这种状况导致数据孤岛的产生。随后数据集市应运而生,应用...

2021-03-05
0

Flink 在实时金融数据湖的应用

导读:本文由中原银行大数据平台研发工程师白学余分享,主要介绍实时金融数据湖在中原银行的应用。主要内容包括:

2021-03-05
0

基于 Flink+Iceberg 构建企业级实时数据湖

Apache Flink 是大数据领域非常流行的流批统一的计算引擎,数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时,会碰撞出什么样的火花呢?本次分享主要包括以下核心内容:...

2021-03-05
0

Delta实践 | Delta Lake在Soul的应用实践

(一)业务场景传统离线数仓模式下,日志入库前首要阶段便是ETL,Soul的埋点日志数据量庞大且需动态分区入库,在按day分区的基础上,每天的动态分区1200+,分区数据量大小不均,数万条到数十亿条不等。下图为我们之前的ETL过程,埋点日...

2021-03-05
0

Gartner对于建设数据中台的建议

数据中台是中国本土诞生的一个名词,很多企业在“什么是数据中台”和“我要上XX中台”徘徊。其炒作程度跟当年的“大数据” 一词有的一拼,如果用Gartner的炒作周期图来看,数据中台目前已经逼近炒作的顶峰。...

2021-03-01
0