2021年还有不到1个月就要说再见了,除了感叹时光匆匆外,马上又要到季度总结、年度总结、年度规划的时候了。最近又集中地把各家公司的数据中台产品架构分析了一遍,试图除了在已有产品的迭代和打磨之余,找到一些新的启发点。看了一圈,发现大同小异。总结下来,数据中台产品最核心的也就是这几件套。
一、各大厂数据中台产品架构合集
1.阿里巴巴数据中台
阿里现在已经把阿里云上大数据相关的产品进行了抽象和打包,成为“阿里数据中台”独立的产品,广告投放的slogan“数据中台理念提出者”。结合今年云栖大会数据中台负责人的分享,阿里数据中台的核心思想是场景化驱动,“数据因场景而美好”,从应用场景出发,提炼出几款最核心的数据产品,组装成为数据中台。通用的主要是四大件:
- QuickAudience: 阿里商业化的CDP平台,包括数据对接、模型配置、用户圈选与分群,渠道连接等功能,对用户的触达和营销策略的沉淀,提升用户运营的效率,让营销更简单,更高效。
- QuickBI: 自助BI和数据可视化分析平台
- QuickTracking: 用户行为数据采集和洞察分析
- Dataphin:数据仓库规范化、系统化建模工具
最底层的数据存储及计算主要是Ma7compute以及Dataworks那些。
图片来源:阿里数据中台
2.网易数帆
听过网易郭忆老师的数据中台实战课,网易数据中台产品体系确实是在实践中一点点搭建和完善起来的,各个产品切实解决了数据化运营过程的各个问题。网易数帆的产品架构重点突出数据加工和资产治理模块,将开发套件、数据标准体系建设、数据治理平台归为数据中台,把智能分析、标签系统、用户画像等数据应用产品归属到了业务前台。
3.元年科技
元年科技作为数据中台垂直领域的解决方案提供商,数据中台产品矩阵主要包括:数据服务、标签体系、指标体系、多决策建模、数据资产及数据开发等。
图片来源:元年科技官网
4.奇点云
奇点云的产品架构有点看不懂,看着像是把各个产品的罗列,没有层级的概念。例如分为平台产品(开发平台、资产治理平台)、应用产品(用户运营、智能应用)、分析产品(可视化分析、自助分析),分析类数据产品,不也属于数据应用么?
图片来源:奇点云官网
5.苏宁
苏宁的中台架构来源网络文章分享,主要架构分为四大层级,最底层是集群资源层,其次是数据开发和资产管理层,数据应用引擎层主要是可视化引擎、分析引擎以及画像引擎,最上层的数据应用层,包括报表、可视化大屏、精准营销以及个性化推荐等。
来源:CIO之家
二、数据中台产品核心7件套
非常认可“数据因场景而美丽”这句话,数据的价值主要包括:数据驱动决策以及数据赋能智能应用(产品智能、运营智能)。结合各家公司的中台架构,以及这几年的数据中台实践,个人认为,数据中台产品架构最核心的产品可以分为以下7个核心部分:
1.自助BI及可视化分析
人人都是数据分析,人人都可数据可视化。通过低代码、配置化的方式,让用户基于数据资产进行拖拉拽的可视化分析,业务取数不再依赖数据团队,可视化看板、大屏直接配置生成,前端开发、接口开发都省了。
2.客户数据管理平台(CDP)
精细化运营的核心是对用户的分层运营,CDP汇聚用户数据构建标签资产,通过灵活的标签圈选能力构建目标人群进行运营触达,或人群API服务化输出。提升精细化运营效率。产品详细实践过程参考之前:CDP赋能精细化运营文章
3.Adhoc查询
数据分析、数据开发人员自由的探索式SQL取数工具,提供基于数据资产进行取数分析的能力,用户仅关注SQL逻辑,不需要关注集群资源、环境。与自助BI拖拽分析相互补充
4.机器学习平台
大数据的出口是AI,个性化推荐服务、用户画像算法标签生产都涉及到机器学习能力的建设,有了算法平台,可以更快的输出相应的算法服务,扩大算法类标签或服务接口的比例
5.数据资产地图
酒香也怕巷子深,很多时候业务是不知道数据在哪里,也就没办法去SQL取数或者拖拽分析,数据地图顾名思义,引导用户可以更快速的找到目标数据。因此需要丰富的元数据、数据描述、逻辑描述、数据搜索等能力。
6.数据治理
之前一篇文章讲过,数据质量是数据产品的生命线,不管是决策还是业务应用,数据出错了影响可能是致命的。需要基于数据质量监控产品提前发现问题,早发现早干预早恢复。除此之外,数据成本优化,生命周期管理,冷数据下线也都属于治理的范畴。
7.数据开发平台
数据开发平台可以说是最早践行低代码的数据产品之一,将集群资源、任务调度依赖、运维流程全部通过IDE界面化配置的方式实现,ETL开发人员主要聚焦于业务逻辑的实现。数据开发平台的主要功能模块(产品子类)包括:
- 数据集成: 将异构数据源统一汇聚到数仓,在将数据搬运到应用端数据库
- 实时开发: 流式数据加工处理
- 离线开发: 离线数据加工处理,随着大数据组件技术的发展,一些公司也开始在做基于Flink的批流一体化开发平台。
- 智能运维: 任务异常报警监控、一键重跑及通知等功能。
三、总结
不管是最底层的让数据加工更高效的开发工具,还是让数据输出更快捷的上层应用端产品,围绕让数据“更快、更省”地用起来的相关数据产品,都属于数据中台的产品范畴。数据中台产品架构相对通用和稳定,在一些流程贯通、数据应用更高效极致方面,可以有所侧重。在做数据中台产品规划时,可以从主体框架开始,再逐步丰富和衍生。