最新 最热

重新定义OLAP!新型多维分析架构全揭秘!

2022年6月11日,DataFun将举办第二届线上DataFunSummit2022:多维分析架构峰会。本次峰会共设置9大主题论坛,并邀请目前工作在大数据多维分析领域的负责人、架构师、数据工程师和开源多维分析项目的核心成员分享,内容既涵盖...

2022-06-08
1

大厂实时数仓建设项目实例

目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切,需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1,调度频率以天为单位,无法支撑实时场景的数据需求。即使能将调度频率设置成小时,也只能解决...

2022-04-18
1

一个 yyds 方向,薪资大幅度碾压 Java 开发!

数仓技术应对关系型结构化数据游刃有余,但对于多元异构数据,却爱莫能助。最近行业大佬都在聊怎么部署数据湖,这波操作未来走向如何? 数据湖技术能够实现全量数据的单一存储,通常存储原始格式的对象块或者文件。不管是传统...

2022-03-08
1

【数据湖】Azure 数据湖分析(Azure Data Lake Analytics )概述

在本文中,我们将探索 Azure 数据湖分析并使用 U-SQL 查询数据。 Azure 数据湖分析 (ADLA) 简介 Microsoft Azure 平台支持 Hadoop、HDInsight、数据湖等大数据。通常,传统数据仓库存储来自各种数据源的数据,将数据转换为...

2022-03-08
1

20000字详解大厂实时数仓建设(好文收藏)

点击上方“芋道源码”,选择“设为星标” 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解...

2022-03-04
1

20000字详解大厂实时数仓建设(好文收藏)

目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切,需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1,调度频率以天为单位,无法支撑实时场景的数据需求。即使能将调度频率设置成小时,也只能解决...

2022-02-12
1

Apache Iceberg技术调研&在各大公司的实践应用大总结

作者在实际工作中调研了Iceberg的一些优缺点和在各大厂的应用,总结在下面。希望能给大家带来一些启示。

2021-07-07
2

Apache Hudi在Linkflow构建实时数据湖的生产实践

Linkflow 作为客户数据平台(CDP),为企业提供从客户数据采集、分析到执行的运营闭环。每天都会通过一方数据采集端点(SDK)和三方数据源,如微信,微博等,收集大量的数据。这些数据都会经过清洗,计算,整合后写入存储。使用者可以通...

2021-04-29
2

云端数智新引擎,腾讯云原生数据湖计算重磅发布

引言 是否遇到过,一个简单的业务统计需求却让数据工程师们抓耳挠腮? 是否遇到过,业务峰值周期明显,要么资源大量闲置, 要么线上疯狂告警? 是否遇到过,大数据集群运维复杂,需要投入大量技术工程师? 针对以上痛点, 腾讯云发布云原...

2021-03-25
1