ERP系统MDG系列9：MDG模块数据迁移介绍

声明：本文仅代表原作者观点，仅用于SAP软件的应用与学习，不代表SAP公司。注：文中所示截图来源SAP软件，相应著作权归SAP所有。

前序

众所周知，MDG产品最重要的作用是Get Data Clean和Keep Data Clean。无论是Master Data Consolidation或Central Governance，数据导入方式和工具都是必不可少的环节。

SAP推荐采用独立部署（Deploy as a Hub）的方式实施MDG产品，MDG作为一个相对独立的主数据中心存在，而不是与其他业务系统集中部署（Co-Deploy）。因此数据迁移在独立部署的MDG项目中占据了更加重要的作用。

在我们正式开始介绍MDG数据迁移之前，先来看看以下几种数据迁移工具（此处仅涉及SAP相关的迁移工具）：

1）数据导入框架 Data Import Framework

2）文件上载 File Upload

3）数据迁移驾驶舱（基于S/4 HANA）Data Migration Cockpit

4）SAP Data Services

5）SAP SDI （Smart Data Integrator） & SDQ （Smart Data Quality）

6）SAP Agile Data Preparation

7）Master Data Consolidation File Upload（这里和第二项的Central Governance文件加载区分）

8）Back-end functions/LSMW

9）SOA

其中第1、2、3、7、8、9项为MDG系统自带的迁移工具，其他4、5、6项则需要购买单独的License以便使用。

影响数据迁移的要素

在开始谈论具体工具之前，先让我们来讨论一下选择不同工具所基于的一些考虑/因素：

1）数据质量

2）数据大小

3）数据源：SAP或非SAP系统

4）数据治理的范围：MDG-M/F/BP(CS)/RFM/EAM/C

5）MDG的版本：MDG on S/4 HANA 或 MDG on ECC

6）MDG实施：本地部署或云平台

7）迁移工具的限制

有没有可能将未清洗的脏数据成功导入MDG系统？从技术层面当然可能，但这违背了我们使用主数据治理系统的初衷。实施一个中心化的主数据系统给了客户一个很好的机会，重新审视现有数据并借此机会清洗或归档数据。所以请牢记，尽量使用干净的数据来进行数据迁移/导入。

如果源系统是一个非SAP系统，那么我们同样需要考虑如何将这些数据映射到MDG的数据模型中。即使是SAP系统，有一些字段映射也需要我们小心应对，例如BP模型中的一些特殊字段，在ECC中并不被支持。

再次认真地审视上述7个要素，准备好了让我们开始数据迁移之旅~

暑期实践迁移工具介绍

MDG DIF和File Upload

1.Data Import Framework

MDG DIF工具旨在使用大小可控的数据文件实现数据批量导入。事务码为：DTIMPORT。标准的DIF支持基于IDoc格式的XML文件。即使DIF本身不具有内置的数据清洗功能，但是依然可以通过数据治理流程对数据进行质量管控。这些数据会根据预先定义好的各种业务规则（BRFplus或Badi）在治理流程中得到校验。不勾上下图中的Governance检查框会导致未经校验的数据直接导入Active Area。

DIF可以被应用于大批量的数据导入，例如大批量的物料主数据，因为他提供了诸如后台导入、并行导入等标准功能。但是我们也要注意，对于大批量的数据，DIF往往会花费较多的时间，并且我们需要在导入之前就对数据进行清洗与转换。

此外针对MDG Key Mapping的内容，DIF是唯一官方推荐的批量导入工具。

2.File Upload

文件加载是另一个实现数据导入的工具，它使用.csv格式的文件将数据存储于Staging Area。这个工具最大的限制在于，你只可以一个Entity一个Entity的进行数据导入的操作。换而言之，此工具不允许将多个Entity Type的数据放在单个文件中进行导入（例如物料的不同视图）。

文件加载完成后，变更请求会被创建，用于Staging Area的审批和激活。

虽然File Upload和DIF看起来有一些相似的地方，但DIF更加适用于大批量的数据加载，并且有一些独有的功能，Schedule、Parallel等。

SAP Note 2196009 对此提供了详细的对比。

S/4 HANA Data Migration Cockpit和SAP Data Services

1.SAP S/4 HANA 迁移驾驶舱

S/4 HANA数据迁移驾驶舱是一个非常易于使用，基于网页的应用程序。

该数据迁移驾驶舱是开箱即用的，不需要任何的代码便可完成SAP各种标准数据对象的迁移工作，同时提供了一个详细的迁移指导说明方便用户使用。你可以在S/4 HANA中通过事务码LTMC开启迁移驾驶舱应用。

一个成功的MDG项目不仅涉及了管控范围内的数据，例如客户、供应商主数据，同时也会涉及很多非MDG标准管控范围内的主数据，例如银行主数据。因此迁移驾驶舱是一个非常方便的工具，用于迁移管控/非管控的数据对象。这个工具会将数据直接加载进MDG Active Area。

此外，LTMC也可以和传统的ETL工具相结合，如SAP Data Services。BODS负责数据抽取和转换，然后将数据加载进Migration Cockpit的临时表中，LTMC将会接管后续数据加载工作。

目前最新的S/4 HANA 1909中，LTMC还未支持任何的数据质量/清洗功能，但是在可以预见的未来，这些加强的功能会作为迁移驾驶舱的一部分，更好的服务于数据迁移工作。

请参考该链接文档以便更好的了解迁移驾驶舱的功能、特点、迁移方法和覆盖的对象。

2.SAP Data Services

一句话概括，SAP Data Services是最好数据迁移工具，用于数据抽取、转换和加载（ETL），理由如下：

1）使用内置的连接器方便的连接SAP和非SAP系统

2）可以展现数据质量问题对下游系统和应用带来的各种影响

3）可以处理非常大的数据集

在MDG项目实施过程中，SAP Data Services（DS）可以和SAP Information Steward（IS）搭配使用，将清洗后的数据导入MDG系统。IS带有强大的数据分析和数据质量监控功能，通过打分的形式将数据质量直观的展现在用户面前。使用IS可以将数据分析的结果聚焦于一些特定的数据集，便于更好的理解低质量数据对业务的影响。

SAP Rapid Data Migration（RDM）提供了一系列预定义的数据迁移内容，加速了数据清洗、校验、转换和迁移过程，从任意SAP或非SAP系统将数据最终迁移到MDG系统中（on ECC或S/4 HANA）。

SDI、SDQ和ADP

1.Smart Data Integrator和Smart Data Quality

SDI和SDQ都为SAP HANA数据库工具。

SDI同时提供数据复制和数据转换服务，SDQ则提供数据转换用于支持数据质量功能，如地址清洗。

虽然SDI不是一个典型的数据迁移工具，但是它仍可以与迁移驾驶舱配合，用于数据初始化加载。

SDI不是SAP Data Services的替代品。

对于单纯HANA数据库中的数据加载来说，SAP Data Services可能需要更多更复杂的配置和存储空间，因此SDI和SDQ身为HANA自带的原生工具，提供了一些ETL的功能。

2.SAP Agile Data Preparation

SAP ADP使组织能够提高数据质量并提供数据质量分析报告。ADP使用简单便捷的方式来清洗、富集和组合你的数据。

SAP ADP可以从SDI所能接触到的任何数据源中获取数据，包括NoSQL数据库。同时，它也可以从.csv，Excel或XML文件中读取数据。