数据仓库架构分层

2019-12-21 14:21:59 浏览数 (2)

数据仓库架构分层

数据仓库BI的常见体系架构如下图:

数据仓库在BI结构中是属于数据服务层,标准上也可以分为四层:ODS(临时存储层)、PDW(数据仓库层)、DM(数据集市层)和APP(应用层)。

ODS层:
PDW层:
DM层:
APP层:

ODS层分为增量更新或者全量更新;PDW层一致的、准确的、干净的数据,一般遵循数据库三范式设计;DM层和APP层是属于需要什么数据就拉取什么数据,报表展现,属于同一级别。

数据仓库在BI结构中各层次的位置如下图所示:

为什么数据仓库需要分层:

(1)用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;

(2)如果不分层的话,如果源业务系统的业务规则发生变化将会影响整个数据清洗过程,工作量巨大;

(3)通过数据分层管理可以简化数据清洗的过程,因为把原来一步的工作分到了多个步骤去完成,相当于把一个复杂的工作拆成了多个简单的工作,把一个大的黑盒变成了一个白盒,每一层的处理逻辑都相对简单和容易理解,这样我们比较容易保证每一个步骤的正确性,当数据发生错误的时候,往往我们只需要局部调整某个步骤即可。

0 人点赞