最新 最热

电力行业数据湖技术方案Flink、Hudi、Hive on Spark案例全攻略记录及Hive查询MOR rt表异常修复

本文主要记录电力行业客户的数据湖技术方案实践案例,方案概括为基于FlinkSQL+Hudi流式入湖、同步表元数据到Hive,基于Hive catalog统一元数据管理,然后基于Hive on Spark离线分析计算。该方案主要考虑与已有Hive数据仓库...

2024-09-12
2

兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)

Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog,并为其提供原生高性能且稳定的访问能力,以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加,新的数据源连接需求也...

2024-09-06
1

降本增效!Notion数据湖构建和扩展之路

在过去三年中,由于用户和内容的增长,Notion 的数据增长了 10 倍,以 6-12 个月的速度翻了一番。要管理这种快速增长,同时满足关键产品和分析用例不断增长的数据需求,尤其是我们最近的 Notion AI 功能,意味着构建和扩展 Notio...

2024-07-26
1

Apache Doris 2.1.5 版本正式发布

亲爱的社区小伙伴们,Apache Doris 2.1.5 版本已于 2024 年 7 月 24 日正式发布。2.1.5 版本在湖仓一体、多表物化视图、半结构化数据分析等方面进行了全面更新及改进,同时在倒排索引、查询优化器、查询引擎、存储管理等...

2024-07-25
3

腾讯云大数据 TBDS 参编信通院《数据库发展研究报告》,引领数据湖仓创新

会上,中国通信标准化协会大数据技术标准推进委员会发布了《数据库发展研究报告(2024年)》,深入分析和展望了我国数据库产业及技术发展与行业应用情况。...

2024-07-22
1

腾讯云首发大数据高性能计算引擎Meson,支持三大产品线性能升级

目前, Meson 已登陆腾讯云数据湖、检索分析服务、云数据仓库三大业务线,为企业在湖仓一体分析、向量检索、海量数据离线计算等业务场景带来卓越的性能表现。...

2024-07-01
1

软考高级架构师:通俗讲解信息系统数据库、数据仓库和数据湖

想象你走进一家大型超市,看到的第一样东西就是排列整齐的货架,上面摆放着各种商品,每种商品都有固定的位置,比如牛奶放在冷藏区,饼干放在干货区。数据库就相当于这些货架,它非常有组织,每条数据都有它应该在的位置,像是顾客信...

2024-05-25
1

Apache Doris 2.1.3 版本正式发布!

亲爱的社区小伙伴们,Apache Doris 2.1.3 版本已于 2024 年 5 月 20 日正式发布。该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新,进一步简化湖仓一体架构、加速了查询性能;同时提交了若干改进项以...

2024-05-22
4

有图有真相!深度剖析数据湖与数据仓库有什么区别

从本质上说,数据湖就是一个信息资源库。人们常常将数据湖与数据仓库混为一谈,但两者在架构和满足的业务需求上都不一样。尤其是,随着社交媒体数据、物联网机器数据和交易数据持续快速增加,云数据湖成为了现代数据管理战略...

2024-05-20
1

腾讯云大数据TBDS数据湖荣获IDC金融领域最佳实践案例

国际权威市场研究机构IDC近日发布了《IDC PeerScape:金融领域中数据管理分析服务最佳实践案例》报告,腾讯云大数据TBDS和某股份制银行的存算分离数据湖项目凭借其领先的技术架构、强大的数据能力以及全面的国产化适配,荣...

2024-05-13
1