浅谈数据治理之主数据识别(水利水电行业)

2024-05-01 08:08:33 浏览数 (1)

大家好,我是一哥,好久没有发技术文章了,最近和一位老同事聊到数据治理,关于主数据他说了一些见解,于是就写了一篇文章。这篇文章紧贴水利行业,聊了作者自己的一些思考,欢迎大家评论区留言~

作者:斯同

目前在水利水电行业某公司从事大数据架构相关工作,具有10多年的数据从业经验。

1.主数据治理的重要性

水利水电做为传统行业,水利水电信息化发展方面存在滞后性,以及业务信息系统建设的孤岛情况,数据方面的建设更是重灾区。水利水电工程是个庞大的工程,涉及多个系统,如水库调度系统、大坝安全监测系统、水闸控制系统、水文监测系统等。这些系统之间需要共享数据,以便进行统一的工程管理和决策。如果主数据不一致,将导致各个系统之间的信息互不相通,使得决策者无法获得准确全面的数据支持,从而影响决策的正确性和有效性。目前数据孪生建设是要整合水利水电所有工程和系统,主数据的治理无疑是一件艰巨而又有挑战性的工作,当前面临着数据标准不统一、数据来源多样化等诸多问题。通过主数据治理有助于建立统一的数据处理标准和流程,确保数据的一致性和可靠性。

2.主数据

2.1主数据概念

DAMA中关于主数据的定义:主数据是有关业务实体(如雇员、客户、产品、金融结构、资产和位置等)的数据,这些实体为业务交易和分析提供了语境信息。实体是客观世界的对象(人、组织、地方或事物等)。互联网行业中主流的主数据主要指那些在系统间共享的、变化不频繁的数据,如客户信息、供应商资料、产品目录等。与之相对的是交易数据,这类数据记录业务活动,波动较大,例如订单行项、发票详情等。不同类型的数据在组织中扮演不同的角色,也有不同的管理要求,经常在交易数据和主数据,主数据和参考数据之间进行区分。接下来我们就主数据与事务型数据进行分析。奇泽姆6层数据分类方法如下图所示:

2.2主数据的特点

主数据是关于业务实体的描述性数据,它们在组织内部被视为基准或参考点,用于支持日常业务操作和事务处理。这些数据的特点是相对稳定,不会因为日常的业务交易而频繁变动。主数据的例子包括客户档案、产品规格、供应商名录等。

2.3事务型数据的特点

事务型数据则记录了企业日常运营中发生的具体业务事件,如销售订单、采购订单、支付记录等。这些数据通常会随着业务活动的发生而不断产生和更新,它们是动态的,反映了企业的业务状况和运营成果。

2.4两者的关系

尽管交易订单数据本身不属于主数据,但在数据处理和分析时,主数据和事务数据是紧密相关的。事务数据往往会引用主数据,例如在处理订单时,会用到客户主数据(如联系方式和付款条件)和产品主数据(如价格和库存状态)来确保交易的准确性和完整性。

3.水利水电行业主数据

根据DAMA中主数据定义是有关业务实体(如雇员、客户、产品、金融结构、资产和位置等)的数据,类推到在水利工程行业中,主数据是关于业务实体的数据,这些实体可能包括(包含但不限于)项目、设备、人员、供应商、合同等。我们尝试仅从水利水电行业:水利工程、发电运行、库区管理三大类简单的列举主数据范围,以供数据治理人员进行参考分析。(以下分类重复的不在赘述:例如人员)

3.1水利工程类

项目主数据:这可能包括项目名称、位置、开始和结束日期、预算、项目经理等信息。工程设备主数据:这可能包括设备类型(例如挖掘机、卡车、混凝土搅拌机等)、设备状态(例如新的、维修中、已报废等)、设备的位置等信息。人员主数据:这可能包括员工的姓名、职位、工作地点、工作时间、技能等信息。供应商主数据:这可能包括供应商的名称、地址、联系人、供应的产品或服务、价格等信息。合同主数据:这可能包括合同的编号、签订日期、到期日期、合同金额、合同方、合同内容等信息。工程监测设备:设备的名称、型号、制造商、生产日期、安装位置、测量范围、精度、分辨率、测量频次等。

3.2发电运行类

发电设备和资产主数据:设备编码、机组型号、尺寸、重量、额定功率、电流、容量、制造商、安装日期等。电力产品主数据:产品名称、电压等级、价格、供应区域等。3.3库区管理类 库区基础主数据:库区的名称、支流名称、地址、面积、容量、建设日期等基础属性信息。设备资产主数据:设备名称、设备编号、设备类型、设备规格和型号、制造厂商、出厂日期、设备位置、设备归属部门、设备状态等信息。

4.写在最后

“尽信书,不如不读书”这句话源自古代中国的一句俗语,其含义是告诫我们不能完全依赖书本上的知识,而应该结合实际情况进行思考和判断。在大数据开发领域,这句话同样适用。以上愚见,往大家多批评指正,共同交流促进水利行业大数据发展。

0 人点赞