“我想指出，所提供的链接都不是附属的，我从本文中提到的公司中没有任何收获。我做这一切是因为直到最近我才听说过数据网格，我很期待这次活动，并希望在此之前深入了解一下。我还认为这可能会让其他人感兴趣，并付出了额外的努力以清晰简洁的方式分享我的笔记。”
本文/报告的目的是根据 Zhamak Dehghani 在即将举行的 Datanova — 数据网格峰会之前关于 Martin Fowler 的前两篇文章，分享和解释我对数据网格的理解。许多句子直接取自扎马克的文章。
Dahghani 女士最近出版了一本关于该主题的书。我还没有读过它，但我毫不怀疑它会澄清这篇文章的一些内容。
作为图表的忠实粉丝，我尝试制作一些图表来解释一些概念。 在接下来的文章中，我首先简要介绍 Zhamak Dehghani。我继续解释什么是数据网格以及为什么它很重要。我简要总结一下它是如何工作的。最后，分享几个我自己的问题。 在本文末尾，您将找到数据网格技术术语表和本文使用的或您可能感兴趣的资源列表。
扎马克·德加尼是谁？
Zhamak Dehghani — source ThoughtWorks
Zhamak 拥有计算机科学专业的工程学士学位和信息技术管理硕士学位。她做了几年软件工程师。今天，她是 ThoughtWorks 的新兴技术总监，过去 10 年她一直在该公司工作。
“她在 2018 年创立了 Data Mesh 的概念，这是大数据管理向数据去中心化的范式转变，此后一直在向更广泛的行业宣传这一概念。 Zhamak 是 ThoughtWorks 技术顾问委员会的成员，并为创建 ThoughtWorks 技术雷达做出了贡献。她作为技术专家工作了 20 多年，并为分布式计算通信以及嵌入式设备技术方面的多项专利做出了贡献。” — 思想工场
什么是数据网格，为什么它很重要？
尽管我们仍然在通过科学方法发现或重新发现早已超越直觉的智慧，但在许多领域，人类已经对自己感兴趣的主题产生了透彻的理解：意识、生活、冲突、教与学等。, 21 世纪的特点是两个尚未彻底分析的概念：敏捷方法和数据的力量。
数据和敏捷性可能早在我们开始创造特定术语来描述它们之前就已经存在，但只是“最近”，这要归功于我们新发现的计算能力，我们才真正了解它们的重要性。
数据网格是敏捷思维和对数据的透彻理解的结果。数据网格最简单的形式是处理数据的敏捷框架。 目前，数据湖是大型刚性结构。数据从这些刚性结构中提取、处理并作为一个单一的超级强大的数据平台提供服务。然而，数据湖存在一些“可扩展性”缺陷：
- 由于数据在一个地方全部处理，因此它们通常不利于轻松添加新的数据源，这在数据是黄金且高效处理是关键的世界中至关重要。
- 他们冒着负责摄取、处理或提供数据的专业团队之间沟通问题的风险。与中国耳语游戏类似，最终用户的需求很容易被那些摄取和处理数据的人误解。
- 它们不利于可互换的用例和实验。
（Simplified diagram of a data lake）
上图可能显示了添加新数据源将如何需要更新整个数据湖，这涉及各种流程和多个独立团队。每个新客户或新来源都意味着修改复杂性不断增加的结构。
刚性总比没有好，因此数据湖曾经是必要的。然而，敏捷总是比刚性好，数据网格是刚性数据湖的敏捷改进。
数据网格如何工作？
[ 重要的！] 这可能只是我遇到的一个问题。我认为数据产品是核心功能基于数据的产品。
数据产品是“通过使用数据促进最终目标的产品”——DJ Patil，Data Jujitsu。
汽车不是数据产品，但 GPS 是。在线流媒体服务是一种数据产品，但视频商店不是。但是，对于 Zhamak Dehghani 来说，由于产品就是数据本身，因此术语数据产品用于将特定数据域定义为产品。重要的是要理解，在这种情况下，数据产品是一个有据可查、高质量的特定领域数据集，数据消费者（数据科学家、分析师等）可以通过 API 使用它。数据网格的目标是为公司的最终数据产品（它向消费者提供的产品）提供服务。我将通过将 Dehghani 女士的“数据产品”称为“领域数据产品”来尝试澄清这一点。
数据网格是一个框架。虽然只有某些技术可能允许其实施，但并不限于特定技术。因此，Zhamak Dehghani 仅提供原理和逻辑架构来解释如何实现它。
数据网格基于四个原则：
面向领域的去中心化数据所有权和架构
数据网格是特定领域数据产品的网络。它比数据湖具有更好的扩展性，因为新的数据源或新的数据消费者只意味着添加一个新的域（数据产品），而不是重新访问整个数据湖。
数据作为产品
每个域都像消费者一样为数据工程师服务，并具有以下属性。
- 可发现：所有可用数据域的注册表（或市场）。
- 可寻址：允许数据消费者以编程方式访问的唯一地址。
- 值得信赖：域“所有者”提供数据的质量保险以及数据出处和数据沿袭作为与域数据产品相关的元数据。
- 自我描述的语义和语法：域元数据应该足够清晰，任何人都可以自己开始使用数据。
- 可互操作并受全球标准监管：得益于全球质量和识别标准，数据可以跨域处理。
- 安全并受全球标准监管：使用企业身份管理系统 (SSO) 和基于角色的访问控制。
- 领域数据跨职能团队：领域特定的产品所有者和数据工程师，能够处理从源到数据消费者的整个领域数据。
作为平台的自助数据基础设施
每个域的数据集都需要可供任何希望使用它们的人使用。访问数据集的数据消费者需要通过上一个原理中的属性描述找到一个完善的数据产品。
联合计算治理
数据湖的优势在于，如果不遵循数据湖标准，则没有任何效果。因此，保证整个数据网格的功能至少与数据湖一样的唯一方法是实施全局治理。全局治理意味着两套标准：全球标准和领域特定标准。其中包括与数据产品属性相关的标准，例如数据质量、数据集之间的交叉引用、命名约定、元数据语法等。
数据网格可以很容易地与 Python 进行比较。Python 的强大之处不仅在于它是一种简单的编码语言，还在于任何遵循全球库标准的开发人员都可以构建一个新的 Python 库（一种代码产品）并使其在官方 Python 库的全球市场上可用。每个开发人员还可以自由设置自己的附加库标准。 在她的文章中，Zhamak 将数据产品显示为属于域，但没有没有数据产品的域，所以在我的情况下，它们是相同的。 单个数据域（数据产品）可以表示如下：
（A single data domain and its components）
使用六边形表示单个数据域，我们可以像这样表示数据网格：
（A simple data mesh diagram with five data domains）
域 4 和域 5 使用来自其他域的数据，但它们也可能从自己的来源获取自己的数据。
Zhamak 还谈到了多平面数据平台。 （请参阅数据网格原理和逻辑架构）老实说，虽然她将平面定义为“代表一个存在层次——既集成又分离”，但我不确定平面是什么意思。
