最新 最热

计算引擎之下,存储之上 - 数据湖初探

随着移动互联网,物联网技术的发展,数据的应用逐渐从 BI 报表可视化往机器学习、预测分析等方向发展,即 BI 到 AI 的转变。

2020-12-29
0

增量计算(生产)与数据湖核心原理

增量计算就是计算 5 分钟或者 10 分钟的数据,需要数据湖能从上次的地方继续开始消费。

2020-12-29
0

大数据架构前沿实践分享

12月19日,9:00-12:40,由来自腾讯数据湖研发负责人邵赛赛老师出品的DataFunTalk年终大会——大数据架构论坛,将邀请来自腾讯、Tubi、车好多、T3出行、滴滴出行等公司的6位嘉宾,就大数据架构相关主题进行分享。本次会议全程直...

2020-12-14
1

大数据:简述 Lambda 架构

计算机科学中有一个 CAP 定理,分布式数据存储不可能同时提供以下三个保证中的两个以上。

2020-12-11
0

从Snowflake看数据仓库未来演进方向:计算存储分离、弹性计算、统一存储和Serverless化

作者 | 蔡芳芳 采访嘉宾 | 陈龙 2020 年 9 月,主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克,首日 IPO 筹资高达 33.6 亿美元,是有记录以来金额最大的软件 IPO,突破了 Uber 2019 年 5 月上市创下的最大规模...

2020-11-30
0

深度对比 Apache CarbonData、Hudi 和 Open Delta 三大开源数据湖方案

摘要:今天我们就来解构数据湖的核心需求,同时深度对比Apache CarbonData、Hudi和Open Delta三大解决方案,帮助用户更好地针对自身场景来做数据湖方案选型。...

2020-11-24
0

企业多云战略的关键考虑因素和挑战

多云方法提供了云计算的所有优点,而没有很多陷阱。仅限于单个云计算供应商及其生态系统存在危险,特别是对于那些希望通过创新来领导的企业来说,云计算供应商的技术改进步伐仍在不断加快。维持在最佳云平台上解决特定业务...

2020-11-19
1

数据湖 | Apache Hudi 设计与架构最强解读

Apache Hudi(简称:Hudi)允许您在现有的hadoop兼容存储之上存储大量数据,同时提供两种原语,使得除了经典的批处理之外,还可以在数据湖上进行流处理。

2020-11-06
0

Dive into Delta Lake | Delta Lake 尝鲜

Delta Lake 是一个存储层,为 Apache Spark 和大数据 workloads 提供 ACID 事务能力,其通过写和快照隔离之间的乐观并发控制(optimistic concurrency control),在写入数据期间提供一致性的读取,从而为构建在 HDFS 和云存储上...

2020-11-06
0

终于有人把数据中台讲明白了

导读:要建设数据中台,我们首先需要明确什么是数据中台,以及数据中台能为企业带来什么价值。

2020-11-06
0