最新 最热

gps卫星信号模拟器,gps信号发生器,gnss信号模拟器

GPS信号模拟器能够模拟卫星信号运动轨迹,模拟GPS卫星导航系统的导航信号。GPS轨迹发生器可以模拟导航系统确定位置点如日期、时间、经度、纬度、海拔信息、速度等。GPS轨迹模拟器可以为基本型和授时型用户提供设备的研...

2023-12-08
1

农业银行湖仓一体实时数仓建设探索实践

在数字化转型驱动下,实时化需求日益成为金融业数据应用新常态。传统离线数仓“T+N”数据供给模式,难于满足“T+0”等高时效场景需求;依托Storm、Spark Streaming、Flink等实时计算框架提供“端到端”的实时加工模式,无法...

2023-11-06
1

StreamingWarehouse的一些思考和未来趋势

以Hudi、Iceberg、Paimon这几个框架为例,它们支持高效的数据流/批读写、数据回溯以及数据更新。具备一些传统的实时和离线数仓不具备的特性,主要有几个方面:...

2023-09-06
1

驯服晶振,gps驯服晶振,gps晶振,锁相晶振、卫星驯服晶振

SYN3307型GNSS驯服晶振模块是由西安同步电子科技有限公司精心设计、自行研发生产的一款模块化高精度的时间频率标准产品,内装高精度授时型GNSS接收机和OCX0恒温晶体振荡器,使用智能驯服锁相技术,在驯服晶振过程中不断计...

2023-04-26
1

[实时数仓]玩转PostgreSQL主从流复制

PostgreSQL 在 9.0 以后引入了流复制(Streaming Replication)。流复制提供了将 WAL 记录连续发送并应用到从服务器以使其保持最新状态的功能。通过流复制,从服务器不断从主服务器同步相应的数据,同时,从服务器作为主服务器...

2023-03-21
2

实时数仓一般性总结

一般也不需要非常仔细地进行数据分层,数据直接通过Flink计算或者聚合之后将结果写MySQL/ES/HBASE/Druid/Kudu等,直接提供应用查询或者多维分析。

2023-03-06
1

腾讯游戏广告流批一体实时湖仓建设实践

腾讯游戏广告业务对数据准确性和实时性均有诉求,因此数据开发团队分别搭建了离线及实时数仓。技术视角下,这是典型的Lambda架构,存在数据口径不一致、开发维护成本高等弊端。在降本增效的大背景下,我们针对结合计算引擎Fl...

2023-01-10
2

Flink基于两阶段聚合及Roaringbitmap的实时去重方案

去重是大数据计算中的常见场景,本文介绍了Flink结合数据倾斜问题的一般性解决方案——两阶段聚合,以及位图(Bitmap)的优化版数据结构——Roaringbitmap给出的一种实时去重解决方案,并在最后与其他方案进行了对比。...

2023-01-03
1

Apache Hudi在腾讯的落地与应用

Apache Hudi是一个基于数据库内核的流式数据湖平台,支持流式工作负载,事务,并发控制,Schema演进与约束;同时支持Spark/Presto/Trino/HIve等生态对接,在数据库内核侧支持可插拔索引的更新,删除,同时会自动管理文件大小,数据Clus...

2022-12-09
1

诺亚财富 X Hologres : 统一OLAP分析引擎,全面打造金融数字化分析平台

诺亚控股有限公司以“诺亚财富”为品牌,源起于中国,是首家在港美两地上市的中国独立财富管理机构,首家开创了财富管理和资产管理的双轮驱动业务模式,同时也是国内首家获得标准普尔“投资级”评级的财富管理公司,公司业务涵...

2022-12-01
1