最新 最热

一文彻底理解Apache Hudi的清理服务

Hudi 提供不同的表管理服务来管理数据湖上表的数据,其中一项服务称为Cleaner(清理服务)。随着用户向表中写入更多数据,对于每次更新,Hudi会生成一个新版本的数据文件用于保存更新后的记录(COPY_ON_WRITE) 或将这些增量更新...

2021-07-05
0

Apache Hudi在Hopsworks机器学习的应用

Hopsworks特征存储库统一了在线和批处理应用程序的特征访问而屏蔽了双数据库系统的复杂性。我们构建了一个可靠且高性能的服务,以将特征物化到在线特征存储库,不仅仅保证低延迟访问,而且还保证在服务时间可以访问最新鲜...

2021-07-05
1

XDR会杀死SIEM吗?

近日,美国一家网络安全初创公司Exabeam宣布进入XDR,这本身并不算什么大消息,不过这家公司的定位却让原本简单的事情变得复杂了,Exabeam是一家SIEM供应商。...

2021-07-02
0

数据湖

>消息队列本身对数据存储有时效性,且当前无法使用 OLAP 引擎直接分析消息队列 中的数据

2021-07-01
0

HDFS廉颇老矣?基于对象存储的数据湖构建新思路

我们经常会被问到一个企业大数据架构的问题:随着企业收集 / 产生的数据越来越多,如何设计一套高效廉价的大数据架构,在尽可能多保留所有原始数据内容的同时还可以支持“无缝接入”的新的分析算法。本文所要介绍的数据湖...

2021-06-08
0

借助“湖仓一体”打造金融行业分布式数据库的领头羊

“【报告下载】后台回复关键词“数据智能报告”可免费下载数据猿最新发布的完整高清版《2021中国数据智能产业发展报告》

2021-06-08
0

硅谷企业的大数据平台架构什么样?看看Twitter、Airbnb、Uber的实践

Twitter是最早一批推进数字化运营的硅谷企业之一,其公司运营和产品迭代的很多功能是由其底层的大数据平台提供的。图7-2所示为Twitter大数据平台的基本示意图。...

2021-06-01
0

为什么软件定义存储走到十字路口?

2004年,加州大学圣克鲁斯分校Sage Weil写下Ceph项目的第一行代码。此时的Ceph仅仅是他攻读博士期间的研究课题,却对日后大火的软件定义存储产生深远影响。...

2021-05-31
0

为什么软件定义存储走到十足路口?

2004年,加州大学圣克鲁斯分校Sage Weil写下Ceph项目的第一行代码。此时的Ceph仅仅是他攻读博士期间的研究课题,却对日后大火的软件定义存储产生深远影响。...

2021-05-31
0

成功的数据驱动型公司为何采用Data Mesh

每隔一段时间,新的解决问题的方式就会出现并改变一切。有时是采取新技术,新的基础架构或者新服务的形式,有时候则是由于市场本身的迫切需求,前者需要工程团队来推动变革,而后者很可能直接从业务中“寻求帮助”,这正是驱动行...

2021-05-31
0