最新 最热

数据开发/数仓工程师上手指南(七)CDM-DWS层搭建规范及流程

进入到了CMD公共数据层的结尾最后一层-DWS层了,该层基本就是直接与业务强关联,也就是说产品提出的需求,或是报表、用户画像统计好还是数据大屏都是在这一层给处理好数据,再放入ADS层,然后我们只需要在BI里面配备对应的数据...

2024-08-05
1

数据开发/数仓工程师上手指南(六)CDM-DWD层搭建规范及流程

前言这次想聊点出工作技术方面外的内容,DWD该层在写CDM层的时候就提及很多次了大差不差,近期让我感悟较多的话那是那句宁愿犯错也不愿意什么都不做,说这句话如果能够做到,那么执行力也远超过其他人,能力和远见也会在历练中...

2024-08-02
2

数据开发/数仓工程师上手指南(五)CDM-DIM层搭建规范及流程

在上篇文章的进度和基础之上,我们已经算是构建好了ODS数据引入层,ODS这一层构建的比较简单,没有很多限制规范,但是CDM数据公共层可以算得上是数据仓库的主题,之前我们也将DWD数据明细层、DIM数据维度层和DWS公共汇总层都归...

2024-08-01
2

数据开发/数仓工程师上手指南(四)ODS层搭建规范及流程

此系列的前三篇文章已经将整个数据仓库的所有构建逻辑流程讲的十分清晰,等于是我们已经把框架搭建好了,接下来就是填充框架内各个组件层级的内容了。我们已经将数据仓库分为三层,分别是ODS数据引入层、CDM数据公共层和AD...

2024-07-31
2

数据开发/数仓工程师上手指南(三)数仓构建流程

此系列的上篇文章通过拆解电商业务数仓系统,通过数仓分层概念对整个业务进行拆解分层,那么本章节将沿着上一篇的数仓概念分层切割电商业务,去具体构建电商业务的数据仓库,我们将按照行业认可标准的流程去构建较为完整的数...

2024-07-29
2

国产数据库加入战局!00 年代的中国数据库市场发展始末

在数据库技术的不断演进中,00年代无疑是一个变革与突破的时代。随着互联网的迅猛发展,传统关系型数据库迎来了新型数据库技术的挑战和革新。这一时期,不仅见证了全球数据库技术的快速进步,也标志着中国数据库技术的崭露头...

2024-07-26
1

MySQL视图介绍与实验练习

视图是一种虚拟表,其内容由一个查询定义。它提供了一种将复杂查询逻辑封装成可重用的结构的方式。

2024-07-25
3

Apache Doris 2.1.5 版本正式发布

亲爱的社区小伙伴们,Apache Doris 2.1.5 版本已于 2024 年 7 月 24 日正式发布。2.1.5 版本在湖仓一体、多表物化视图、半结构化数据分析等方面进行了全面更新及改进,同时在倒排索引、查询优化器、查询引擎、存储管理等...

2024-07-25
4

Facebook数据仓库的变迁与启示

在大数据时代,数据仓库的架构和管理是企业数据驱动决策的核心。Facebook,作为全球最大的社交媒体平台,其数据仓库的架构和管理策略对于处理海量数据尤为关键。本文将基于徐文浩在《大数据经典论文解读》的讲解,深入探讨Fa...

2024-07-15
2

Apache Doris 2.0.12 版本正式发布

亲爱的社区小伙伴们,Apache Doris 2.0.12 版本已于 2024 年 6 月 27 日正式与大家见面,该版本提交了 99 个改进项以及问题修复,欢迎大家下载体验。

2024-06-28
5