最新 最热

Apache Doris 2.1.6 版本正式发布

亲爱的社区小伙伴们,Apache Doris 2.1.6 版本已于 2024 年 9 月 10 日正式发布。2.1.6 版本在 Lakehouse、异步物化视图、半结构化数据管理持续升级改进,同时在查询优化器、执行引擎、存储管理、数据导入与导出以及权限...

2024-09-20
1

资深ETL工程师经验分享:ETL项目的5大挑战与策略

在我十多年的数据仓库建设经验中,ETL(Extract, Transform, Load)一直是最具挑战性的环节之一。简单来说,ETL就是将分散在各个业务系统中的数据抽取出来,经过清洗转换,最后加载到数据仓库中的过程。这个过程看似简单,...

2024-09-18
1

Apache Doris Flink Connector 24.0.0 版本正式发布

亲爱的社区伙伴们,Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外,整库同步所依赖的 FlinkCDC...

2024-09-11
1

SelectDB 多计算集群核心设计要点揭秘与场景应用

SelectDB Cloud 是基于 Apache Doris 研发的全托管实时数据仓库服务,采用全新的云原生存算分离架构。当计算层与存储层进行了分离设计后,计算层由于没有了数据状态,可支持极其灵活快速的弹性伸缩;而存储层由于和计算解耦,...

2024-09-11
4

招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%

在竞争激烈的消费金融市场中,有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的 Lambda 架构提供业务报表、数据运营、个性推荐、风险控制等数据服务,而 Lambda 过多的技术栈也引发了数据孤岛、...

2024-08-29
2

谈谈我对实时计算的理解

在这个数据驱动的时代,实时计算和大数据处理成为了许多企业和开发者关注的焦点。这里就来简单介绍一下实时计算和Flink的相关概念,希望能帮助大家快速入门。...

2024-08-23
3

AI大模型独角兽 MiniMax 基于 Apache Doris 升级日志系统,PB 数据秒级查询响应

MiniMax 是领先的通用人工智能科技公司,自主研发了不同模态的通用大模型,其中包括拥有万亿参数的 MoE 文本大模型、语音大模型以及图像大模型。MiniMax 以“与用户共创智能”为愿景,通过对大模型持续迭代,MiniMax 在国内...

2024-08-23
2

列转行-多列转多行(横表变竖表)

原始数据为一张横表,分别有三列成绩列,想要转成竖表,需要转换成三列分别为 学生id、学科、成绩,转换完成之后学生id将不再是主键。

2024-08-19
2

行转列-多行转多列(竖表转横表)

原始数据中是一个竖表,每个学生的每个学科一行数据,对其转换成一张横表,即表中学生id为主键,包含语文、数学、英语三列,列值为对应学科分数。...

2024-08-19
1

行转列-有序行转列

根据配送订单记录表,查询出骑手id,顾客id列表,要求顾客id列表中的顺序按照送达时间早晚排序。

2024-08-13
1