数据中台简单介绍
一、什么是数据中台
2014年马云正式提出“DT(Data Technology)”的概念,人类从IT时代走向DT时代,阿里内部的数据平台事业部大刀阔斧的建立整个集团的数据资产,同年,阿里从芬兰Supercell公司接触到中台概念后,在集团内部积极践行,开创了“大中台、小前台”的组织机制和业务机制,通过高效、统一的后方系统来支撑快速变化的前端业务,提高业务产出效率,减少成本投入。
2018年中台概念开始深入互联网公司,2019年数据中台概念大火。之所以现在推崇数据中台的建设原因是数据中台确实给小前台提供了强有力的数据支持,实现了对需求快速响应,另一个重要的原因是数据中台已经在阿里体现了巨大的商业价值和应用价值。
1.1、数据中台概念
数据中台是一套可持续“让企业的数据用起来”的机制,通过有形的产品和实施方法论,构建一套持续不断把数据变成资产并服务于业务的机制,数据来自于业务,并反哺业务,不断循环迭代,实现数据数据可见、可用、可运营,通过数据中台把数据变成一种服务能力,其目标是提供普惠的数据服务。
关于数据中台有以下几个功能特点:
1)数据中台具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现核心能力。
2)数据中台的核心就是实现公共计算逻辑下沉,实现数据复用,提供给接口使用。
3)数据中台不是某一个单一的产品或者某个技术。本质上讲数据中台就是从数据中发现价值,赋能业务数据管理机制。
如果我们把数据比喻成血液,那么数据中台就是心脏和毛细血管,构建中台可以能让数据价值渗透到各个业务场景中去。
4)数据中台最核心的理念就是“OneData OneService”
“oneData”指的是对于企业数据我们需要按照主题和分层方式进行管理、统一表及指标的命名规范,保证数据完整性及复用性,全企业数据只有这一份统一管理的数据。
“oneService”指的是业务使用的所有数据来源于数据中台,数据中台提供统一的数据服务功能,屏蔽底层数据存储,做到接口复用,减少不规范的烟囱式的接口开发。
构建数据中台时需要企业从战略、组织、人才方面全方位规划配合,而不仅仅停留在工具和产品层面,所以在一些大互联公司在宣布中台战略时,会伴随组织架构调整,例如:合并数据处理部门,合并业务部门等等。
1.2、数据中台类比案例
为了方便理解中台概念我们举个例子:
每个人家里厨房都有油、盐、糖、酱油、醋、料酒、生抽很多调料,这些调料相当于数据,你相当于业务部门,特别喜欢吃糖醋鱼、糖醋排骨、糖醋猪蹄、糖醋里脊,以上食物成品相当于各种业务应用。你家里老妈做饭,相当于IT部门,她觉得每天都按照比例调制糖醋汁很麻烦非常浪费时间,每次调制的味道还不同,于是你老妈决定按照一定的比例(1酱油 2料酒 3醋 4生抽 5盐,这个比例就相当于数据处理及数据算法)来调制一大桶糖醋汁(相当于数据产品),以后每天倒一点点糖醋汁就可以做出一盘糖醋菜(业务应用), 这个调制糖醋汁以及使用糖醋汁做出一盘糖醋菜的这个过程就相当于构建了一个数据中台。如果你家十天半个月才吃一次糖醋菜,频率很低(相当于某个业务应用很低),就没有必要调制一大桶糖醋汁放在那儿(没必要构建中台)。
所以在构建数据中台之前首先看一看有没有数据产品的需求,有多少人使用这个数据产品产生的业务结果,使用的需求量大不大?以及使用这个数据产品业务结果的频率高不高?如果以上都合理就可以规划构建数据中台。
数据中台的核心理念就在于数据取之于业务,用之于业务,它相对于数据平台注重的是对业务的积累和沉淀,构建了从数据生产到消费,消费后产生的数据再回流到生产流程的闭环过程。
二、前、中、后台概念
2.1、前台概念
由各类前台系统组成的前端平台,每个前台系统都是用户的一个触点,即企业的最终用户直接使用或交互的系统,是企业与最终用户的交点。例如用户直接使用的网站、手机app、微信公众号、企业看板等都是前台范畴。小前台一般都是敏捷前台,强调敏捷交互及稳定交付的组织能力建设,对于阿里来说,小前台就是各个业务部门。
2.2、中台概念
中台的设置是为了提炼各个业务线的共性需求,并将这些打造成组件化的资源包,然后以接口的形式提供给前台各业务部门使用,可以使产品在更新迭代、创新拓展的过程中研发更灵活、业务更敏捷、最大限度地减少“重复造轮子”的KPI项目。中台是一种经营理念,是一种组织形式,是“平台思维”的自然演进。
中台又包含业务中台、技术中台、数据中台。
业务中台
业务中台更多偏向于业务流程管控,将业务流程中共性的服务抽象出来,形成通用的服务能力。
比如电商平台,有C2C、B2C、C2B、B2B四种模式,其中订单、交易、商品管理,购物车模块、短信中心,用户中心、支付中心、交易中心、搜索服务都是有共性的,将这些组件沉淀出来,形成电商行业的业务中台,再基于这些业务中台组件的服务能力,可以快速搭建前台应用,譬如:C2C模式的淘宝、B2C模式的天猫、B2B模式的1688、C2B模式的聚划算,用户通过这些前台业务触点使用业务服务,业务中台不直接面向终端用户,但可以极大提升构建面向终端用户的前台的速度和效率。
技术中台
主要负责基础服务、基础组件、基础平台、存储体系、云平台、运维相关等技术支撑。
数据中台
业务中台是抽象业务流程的共性形成通用业务服务能力,而数据中台则是抽象数据能力的共性形成通用的数据服务能力。
例如:原始业务数据通过资产化、服务化,形成用户画像服务,这个服务可用于电商平台的商品推荐,也可以用于地产购房意愿,还可以用于金融领域的信用评级等。同一个服务在应用层面展现的内容可能不一致,但是底层的数据体系是一致的。
2.3、后台概念
由后台系统组成的后端平台,每个后台系统一般管理了企业的一类核心资源,例如:财务系统、产品系统、客户管理系统、仓库物流管理系统等,这类系统构成了企业的后台,后台更多解决的是企业管理效率问题,为前中台提供数据支撑,而中台要解决的才是前台创新的问题。
三、数据中台与业务中台区别和联系
一个企业中可以同时拥有业务中台和数据中台,两者是相辅相成的。业务中台中沉淀的业务数据进入到数据中台进行体系化加工,再以服务化的方式支撑业务中台上的应用,而这些应用产生的新数据又流转到数据中台,形成循环不息的数据闭环。
在企业中构建数据中台与业务中台没有先后之分,根据企业实际情况进行规划建设。
从数据层面上来看,业务中台只是数据中台的数据源之一,除此之外,企业还有很多其他的数据来源,如:APP,小程序,IOT等多源数据。
从服务层面上来说,数据中台的数据服务也不一定经过业务中台作用于业务,也可以直接被上层应用系统进行封装,如电商领域推荐系统。
中台不是平台,平台可以有很多,例如:营销平台、风控平台、管理平台,平台解决的是特定领域业务的问题,而中台解决的是全企业各个业务领域综合问题,一般一个企业只需要一个中台就可以,现在还有业务中台、数据中台之分,未来当数据与业务更加紧密集合,会统一形成“企业中台”。
四、数据中台与大数据平台关系
大数据平台更关心技术层面的事情,提供数据加工处理的能力,提供数据集成、数据开发、数据测试、任务上线等,针对的往往是技术人员。而数据中台的核心是数据服务能力,要结合场景,比如精准营销、风控等,通过服务直接赋能业务应用,数据中台不仅仅面向技术人员,更需要面向多个部门的业务人员。
如果把数据中台看成一个工厂,大数据平台就是工厂中的设备,为工厂运行提供加工处理数据能力,通过一系列的整合、加工、处理最终为客户提供有价值的数据结果和服务,当然,属于大数据平台的数据仓库也当属数据中台的重要组成部分。
数据仓库的主要场景实支持管理决策和业务分析,而数据中台则是将数据服务化之后提供给业务系统,目标是将数据能力渗透到各个业务环节,不限于决策分析类场景。例如:
所以数据时代带来的挑战不仅仅是数据量的爆发式增长,更重要的是如何管理好、治理好、利用好这些数据,显然传统的大数据平台建设方法论不能满足以上需求,数据中台应运而生
五、构建数据中台价值
构建数据中台价值如下:
5.1、提升数据应用能力
数据中台将海量数据转化为高质量的数据资产,为企业提供更深层的客户洞察,从而为客户提供更个性化和智能化的产品和服务。
5.2、打破数据应用屏障
在传统数据建设中,数据无法被业务使用,其中一个重要的原因是业务人员不够懂数据,导致数据应用到业务变得困难,数据分析人员不管业务,只是按部就班产出报表结果,以上情况导致数据分析结果不能很好地反哺到业务中,构建数据中台之后,数据分析人员将数据变成业务人员可阅读、易理解的内容,业务人员看到内容后很快可以将数据结合到业务中。
5.3、打破数据孤岛,盘活全量数据
数据中台构建将分散割裂的海量数据做到集成,打破数据孤岛的现状,同时降低使用数据服务的门槛,实现数据“越用越多”的价值闭环。
5.4、支持跨主题域访问数据
企业早期建设的应用数据层ADS(传统数据仓库分为ODS/DW/ADS)更多是为了某个主题域所服务,例如:营销域、人力资源域、风控域。而企业在数据应用到业务的时候往往需要打破各个主题,会从业务对象主体出发来考虑数据应用,如人(会员、供应商、渠道、员工)和物(商品、仓库、合同),从全域角度设计完整的面向对象的数据标签体系。
5.5、数据快速复用
传统的架构中,将分析后的数据应用到业务中,通常做法就是通过数据同步能力,把结果同步到业务系统中,由业务系统自行处理,这会带来数据管理问题,整个数据血缘链路是割裂的。数据中台可以很好的提供数据服务,业务系统只需要从数据服务中获取数据即可。