数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis

开源数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis。

概述

数据质量监控（DQC）是最近很火的一个话题,也是数据治理中最重要的一环。有一句话说得好。数据质量未必是数据治理中最重要的一部分,但是数据质量可能是让数据治理工作全部崩盘的第一步。

所以做好数据质量监控非常重要，废话少说本文将从开源数据质量解决方案预研的角度，带大家了解目前四个比较成熟的数据质量管理工具，希望对大家做技术选型的时候有一些帮助。

对于开源框架的研究，对于我们自研数据质量的工具也有巨大的帮助。

1、Apache Griffin

在开源数据质量解决方案——Apache Griffin入门宝典一文中，对Griffin有过详细的介绍。

Griffin是一个开源的大数据数据质量解决方案，由eBay开源，它支持批处理和流模式两种数据质量检测方式，是一个基于Hadoop和Spark建立的数据质量服务平台 (DQSP)。它提供了一个全面的框架来处理不同的任务，例如定义数据质量模型、执行数据质量测量、自动化数据分析和验证，以及跨多个数据系统的统一数据质量可视化。

Griffin于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。

Griffin官网地址：https://griffin.apache.org/

Github地址：https://github.com/apache/griffin

Griffin的架构分为三个部分。

各部分的职责如下：

Define：主要负责定义数据质量统计的维度，比如数据质量统计的时间跨度、统计的目标（源端和目标端的数据数量是否一致，数据源里某一字段的非空的数量、不重复值的数量、最大值、最小值、top5的值数量等）
Measure：主要负责执行统计任务，生成统计结果
Analyze：主要负责保存与展示统计结果

所以本身Griffin带了一个页面，可以通过页面设置进行一些监控结果展示。

Griffin对部分组件有依赖关系，这点要注意。

JDK (1.8 or later versions) MySQL(version 5.6及以上) Hadoop (2.6.0 or later) Hive (version 2.x) Spark (version 2.2.1) Livy（livy-0.5.0-incubating） ElasticSearch (5.0 or later versions)

当然Giffin也不是万能的，目前Griffin还是有很多的问题的，选择也要慎重：

Griffin的社区并不太活跃，可以共同讨论的人不多。

目前最新版本还是0.6，可能会有一些问题。

网上技术文档很少，当然这方面大数据流动也会不断的输出新的技术文档帮助大家。

2、Deequ

deequ是amazon开源的spark数据质量管理的工具。

其架构图如下所示：

亚马逊内部正在使用 Deequ 来验证许多大型生产数据集的质量。数据集生产者可以添加和编辑数据质量约束。系统定期计算数据质量指标（使用数据集的每个新版本），验证数据集生产者定义的约束，并在成功时将数据集发布给消费者。在错误情况下，可以停止数据集发布，并通知生产者采取行动。数据质量问题不会传播到消费者数据管道，从而减少它们的爆炸半径。

要使用 Deequ，让我们看一下它的主要组件。

指标计算——Deequ 计算数据质量指标，即完整性、最大值或相关性等统计数据。Deequ 使用 Spark 从 Amazon S3 等源中读取数据，并通过一组优化的聚合查询计算指标。您可以直接访问根据数据计算的原始指标。约束验证——作为用户，您专注于定义一组要验证的数据质量约束。Deequ 负责导出要在数据上计算的所需指标集。Deequ 生成数据质量报告，其中包含约束验证的结果。约束建议- 您可以选择定义自己的自定义数据质量约束，或使用自动约束建议方法来分析数据以推断有用的约束。

Deequ 和 Spaek关联密切，使用Spark技术框架的可以考虑，目前Deequ 已经更新到2.X版本，使用的也比较多，社区较为活跃。

Github地址：

https://github.com/awslabs/deequ