今天的文章从一个企业应用Data Mesh的故事开始:
Daff是一家全球音乐流媒体公司,公司的愿景是:“在生活中的每一刻, 以身临其境的艺术体验, 连接全球的艺术家和听众”。在它的使命背后,是公司对数据、分析和人工智能寄予的厚望。
时间从三年前开始。当时Daff的数据收集、处理、分析和试验都由有限的数据团队成员承载,他们承受着巨大的压力。业务团队不信任数据,经由数据团队处理的数据经常出现各种各种显而易见的问题,比如,报表中不合理的数据,不知道如何使用的数据集。数据团队需要花费大量的时间和业务系统开发人员沟通数据的细节,理解数据,进而才能进行数据处理和加工,导致对于业务的响应不够迅速。
企业的数据目录基本成为摆设,数据消费方很难直接通过数据目录了解数据如何使用,不得不回归到线下渠道,然而不同团队往往有自己的事情,很难及时响应消费方的诉求。获取正确数据的准备时间和摩擦导致很难进行新的数据试验。领域本身对于维护数据的易于获得、可靠和可用没有任何责任和兴趣。
于是,Daff采用了Data Mesh作为其数据策略、架构和运营模型的支柱,通过持续的改进,它扩大了公司使用数据和机器学习进行实验、学习和调整的规模,加快了其速度。
首先,建立了数据好奇心和数据实验的企业文化。这是一种痴迷于进行实验、观察结果、分析数据、理解数据、从数据中学习并适应的文化。这种文化建立在一个技术基础之上,该基础可以让每个人都敢于尝试:尝试应用机器学习的大实验,或者只是调整用户界面功能的小实验。
其次,对数据按照领域进行了划分,并于业务领域保持一致。播放器领域专注于移动设备上使用的核心音乐播放器,合作伙伴领域专注于与商业伙伴合作。播放列表领域研究生成播放列表的高级方法。每个领域都结合了业务能力,业务系统开发和数据开发。
最后,每个领域及其协作的技术团队都对有意义、值得信赖和安全的数据负责,每个人都期望在整个组织中按需访问数据是一种常态。他们都知道自己在实现这一目标中的作用,都对数据负责并参与其中。
图:Daff建立的Data Mesh协作模式
这个故事来自《Data Mesh 权威指南》,这是第一本全面、完整、详细的介绍了Data Mesh各个方面的书籍,可以对数据从业者带来全新的启发和思考。
故事中的Daff是很多企业都希望的状态——建立真正的数据驱动的企业。要到达这个状态,还需要企业管理者和数据团队能够思考企业数据应用面临的困境,引入新的数据管理方法,对数据策略、架构和运营模型进行演进式调整。
Data Mesh是一种解决企业级数据能力规模化问题的新方法,它可以让系统开发和数据开发更好地协作,加速企业数据产生价值的过程,实现企业数据变现。Data Mesh融入了Thoughtworks在微服务、产品思维、精益思想方面的理念,把它们应用在了企业数据领域。
图:Data Mesh的四个基本原则
在过去几年服务于不同行业和发展阶段企业的过程中,Thoughtworks发现,企业一方面困与如何让数据产生真正的价值,另一方面,也不免会对市场上时不时出现的新的热词感到兴奋。比如近几年流行的数据平台、数据中台、各种One系列等等,包括这本书所介绍的Data Mesh。
Data Mesh本质上是要解决规模化数据创新的问题,如何在一个需要数据驱动的组织中,激活数据创新的动力,减少使用数据的摩擦力。所以,这个定义中就会存在很多假设:
- 你的企业的业务需要数据驱动吗?
- 需要很多人参与到数据的创新中吗?
- 现在对于数据使用的瓶颈是什么?
- …
这些问题都需要详细诊断和深入思考。但是,亦如当年微服务对于开发团队的影响,从来不是一步就会变成微服务的理想状态,大家也都经历了在代码拆分,数据库拆分,服务治理等不同层次的,迭代式的改进。Data Mesh也一样,我们很难一开始就完全按照Data Mesh的四个原则建设这样一个平台,对数据团队进行全面的改革,我们需要的是能够进行演进式变化,增强组织的韧性,而不是进行一场豪赌,成王败寇。
其实,每个企业都有自己的特色,每个行业也都会有一些总结出来的最佳实践。我们需要做的不是把这些方法和实践,照搬到企业中来,更应该做的是学习和理解这些方法和实践,理解它们出现的背景和要解决的问题,汲取其中能够解决企业现在问题的部分,为自己所用。通过不断的演进、发展自己企业的组织和技术能力来完成企业的愿景。Data Mesh在国内企业中的落地也需要基于企业的实际问题。
因此,企业在进行Data Mesh落地的时候也会有所侧重,或者加快基础设施搭建的过程,或者对数据进行领域的划分,或者选取优先级较高的数据产品进行落地,同时构建Data Mesh的数据产品平台。通过Data Mesh的一些理念逐步去影响、改进现有的数据平台和团队合作模式。
道长且艰,让我们一起砥砺前行,不忘初心。我们也会有后续文章介绍Data Mesh的实施路径,敬请关注。
更多的Data Mesh的内容请点击下方阅读原文访问我们的网站,了解更多案例和解决方案。