数字化转型是一个庞大的体系、漫长的过程,尤其是对于制造企业,所涉及的业务范围较广,在转型过程中,由于时间、资金、人力等资源的有限,许多制造企业采取了按业务或按部门分阶段执行,这种方式在一定程度上减轻了短期内转型的压力,对于部门来说提升了转型的效率。
然而,到了数据应用阶段,这种转型方式的缺点逐渐显现。企业虽然已经积累了一定量的历史数据,但由于前期缺乏统筹性的规划,导致诸多制造企业没有建立起有效的数据管理机制和保障,出现了数据来源复杂、数据质量参差不齐、基础数据分散、数据不一致、统计口径不统一等问题,导致在应用时数据质量得不到保障,数据无法匹配、数据不可识别、数据不一致、冗余重复、时效性不强、精度不够等问题频发,数据结果与实际情况不匹配,无法作为业务改善及经营决策的参考依据,难以支撑上层应用,无法完全释放数据的真正价值。
因此,企业可以通过构建的统一的大数据分析平台将企业内大量的结构化、半结构化、非结构化数据以及外部数据,进行数据整合、数据管理,打好数据底座、再考虑建立数据应用实现数据驱动业务。
制造企业可以应用一站式的BI数据分析平台,将各系统数据进行统一的整合、存储、分析。把大数据分析所需的产品功能全部融入一个平台下,进行统一管控。在运用时,可全面覆盖数据分析过程中的各个环节,包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等,让用户可以在一个统一的平台上完成全流程数据分析任务,降低了实施、集成、培训的成本。
除了一站式的BI数据分析平台,数据仓库的建设也是关键,通过搭建数据仓库,构建按照主题模型存放数据的模型层,提升数据整合效用与科学性,构建指标层以提升基础数据的复用程度,逐步统一数据出口。同时可以进一步推动数据管理的落地,数据质量检测与反馈机制逐步优化落实在系统中,最终在数据整合、数据管理、数据应用三个部分相互之间推动良性循环。
数据仓库是一个完整的生态圈,其建设是一个循序渐进的过程,既不能够脱离业务的实际需要而存在,也不能够纯粹以业务驱动而忽略了IT架构。因此,在进行数据仓库的开发时,需要同时从业务和技术两方面考虑建设。
首先归并各子系统数据,将原本散乱在各个系统中的业务数据进行统一化处理。在数据归并后,结合企业的业务特征和系统架构,将不规范的数据根据数据标准转换为规范的数据,将非结构化数据转化为结构数据,并对数据进行提取的临时存储。
仅仅是数据的采集、提取和存储还不够,由于许多制造企业的业务体量大、渠道多,导致了数据庞杂,因此需要根据企业的业务逻辑,对数据进行重构。可以在平台中构建数据汇总层,对数据进行快速的清洗、转换,提高数据质量和可用性。以此,根据数据颗粒度,将事实与维度拼合成新的报表。同时,根据分析指标复用程度,将部分同维度指标集中合并成为新报表。
将数据清洗和转换后,可以构建业务数据层,为不同应用场景的数据可视化、分析、挖掘准备并管理好数据。这样才能使数据应用更加贴合该企业的使用场景,使报表呈现更加精准。
以此,将制造企业各业务系统中的数据统一处理,构建标准化的数据应用体系,为数据赋能业务奠定基础。
案例:
该企业将大数据分析平台的建设分为两个阶段。第一阶段的工作重点是将各业务系统的数据进行连接,统一处理,实现贯通。一方面,通过业务数字化、标准化,借助IT技术,实现业务上下游信息快速传递、共享,实现数据全流程贯通,提升业务运作效率;另一方面,通过数据质量度量与持续改进,确保数据可以真实反映业务情况,使数据质量持续提升,减少返工、纠错等成本。
统一的数据分析平台为数据应用奠定了坚实的基础,构建了一致的信息架构与标准,以及唯一可行的数据源。在此基础上,将第二阶段的重点放在了数据分析与洞察能力的提升,首先将各业务数据进行跨领域的汇聚与联接,从各个数据角度进行整体性或某一关键问题的综合分析,实现业务状态透明可视,提供基于事实的决策支持依
该企业应用的一站式BI数据分析平台,完成了数据源的统一,构建了标准化的数据治理体系,实现了递进改善式的数据质量管理,具体如下:
1. 数据源:业务数字化是数据工作的前提,通过业务对象、规则与过程数字化,不断提升数据质量,建立清洁、可靠的数据源;
2. 数据湖:基于“统筹推动、以用促建”的建设策略,严格按六项标准,通过物理与虚拟两种入湖方式,汇聚该企业内部和外部的海量数据,形成清洁、完整、一致的数据湖;
3. 数据主题联接:通过五种数据联接方式,规划和需求双驱动,建立数据主题联接,并通过服务支撑数据消费;
4. 数据消费:对准数据消费场景,通过提供统一的数据分析平台,满足自助式数据消费需求;
5. 数据治理:为保障各业务领域数据工作的有序开展,需建立统一的数据治理能力,如数据体系、数据分类、数据感知、数据质量、安全与隐私等。