前言
每个组织都有自己的数据管理方式。有的公司准备自研并制定了长期计划,有的公司使用最新的数据管理工具和技术,有的公司则是为了满足监管机构的要求。这几种的思路完全不一样。
要让公司成为真正的数据驱动型组织,不仅仅需要制定数据策略或推出更新的软件技术。关键在于数据的整体治理和管理,解决这个问题的一个好方法就是元数据管理。元数据管理是DAMA数据治理体系中的一部分,元数据管理与其他数据治理领域巧妙结合,发挥出巨大的作用。
为什么是元数据管理?
我们生活在一个每天都能看到新的概念、技术和工具涌现的时代,在数据领域也是一样。但如果你试图理解它们的作用,你会发现基本原理仍然相同,其实最终都是为了解决问题而出现的。由于对数据资产的缺乏管理,各种各样的问题开始出现。管理元数据并将它们映射到流程、资产、策略和人员中可以为数据资产提供整体概览和语义。这不仅有助于管理层做出明智的决定,还有助于业务和 技术掌握数据的核心并保持控制。元数据管理对于风险管理也非常重要,可以帮助最大限度地减少风险,满足合规要求。
元数据管理并不是什么新鲜事。在很久以前,元数据管理就一直通过文档和电子表格的形式进行着。有的公司可能正在这样做,但不知道它如何为公司正在进行的所有数据工作带来价值。随着各种各样数据目录,数据地图,元数据管理平台的出现,很多商业案例大篇幅的宣传它们的作用,但是它们到底能不能解决实际问题还不得而知。 如何开始呢?我们可以从中选择一并在其之上慢慢构建,也可以自研。但是第一步,我建议是从元数据管理开始,这是一个很好的开始方式。在元数据管理中,就要开始考虑使用元模型的方案。在管理业务元数据和技术元数据方面存在许多挑战,在这种情况下,统一的元模型可以提供很大帮助。元模型可以为所有数据管理计划带来很多价值。它不仅有助于以结构化方式管理您的元数据,而且还充当将元数据共享给应用程序和流程的来源。
如果你还没有开始元数据管理的工作,就从统一元模型开始吧!
统一元模型
所有的数据目录都应该有一个统一的元模型,一些是关系型的,一些是非关系型的。但在概念层面,它们都代表相同的实体。诸如数据集、数据表、数据字段、数据系统、应用程序、分类、业务术语表、数据血缘之类的东西,还有很多很多。因此,创建自己的元模型以按照您想要的方式存储元数据是非常必要的。这对于将元数据处理到集中的数据目录或其他模块需要的接口非常有用。定制模型可以与数据资产盘点并行工作。对于业务元数据,以系统的方式存储所有元数据而不是维护电子表格也非常有必要。
只是为了说明问题,我准备了一个概念模型来保存技术元数据。
上述元模型还为开发者社区提供了一个框架来构建支持元数据、数据血缘等的应用程序。您可以使用业务元数据对其进行扩展以进一步丰富。
上述模型具有数据发现、数据治理、数据分类、数据隐私、数据血缘等功能所需的组件。
元模型的优点是什么:
端到端视图:您可以创建所有资产的知识地图,并充分了解业务流程或实体如何与 IT 系统相关联。例如:当一个应用程序按计划运行时,必须有一个作业用于计划运行,该作业负责创建创建一些业务价值所需的数据集。
易于集成:如果您的组织拥有许多应用程序、技术、自定义流程,这也是一个优势,使用目录来解决它们非常困难并且需要良好的元模型。您可以从应用程序开发挂钩以将数据推送到此模型。
元数据管理:元模型提供了管理元数据的框架,您实际上可以选择或迁移到您选择的目录。元模型可以作为事实的单一版本。
版本控制:通过元数据版本控制,您可以进行时间回溯以了解过去发生的事情,并将数据用于监管报告或管理报告。
有什么缺点?
当然,这种设计并不是完美的,要确定元模型的范围并确定您需要其中的哪些属性需要付出很多努力。您需要确定需要存储的元数据粒度级别(业务、技术、运营)。您需要确保您的应用程序能够将所需的元数据推送到此模型。最后但并非最不重要的一点是预算和时间,您需要在这些举措上投入大量资金和时间。