数据中台解决方案参考与未来发展方向
一、数据中台解决方案参考
各个行业的数据中台解决方案类似,只是涉及到的业务不同,建设框架类似。下面以零售行业构建数据中台和网易构建的数据中台为例,说明构建数据中台的解决方案。
1、零售行业数据中台功能体系
2、网易数据中台功能体系
3、菜鸟数据中台功能体系
二、数据中台未来发展方向
纵观IT技术的发展历程,从企业管理系统的简单数据分析到传统企业数据仓库构建报表分析、再到大数据数据仓库构建及数据分析、再到基于数据湖的大数据数仓分析、再到现在的数据中台,针对企业数据价值提取,企业使用技术层出不穷,那么数据中台未来发展方向是什么样的呢?
由各个互联网企业使用数据中台的方式来看,未来数据中台发展会朝着以下几个方向发展。
1、实时数据中台
目前构架的数据中台大多数偏离线,虽然我们有一些实时任务,但是实时的任务比例还是比较低,实时任务在数据复用、公共计算逻辑方面做的还不够好。未来数据中台的构建可以将离线构建数据中台的这套方法论应用到实时链路中,构建实时数据中台,这是未来数据中台的发展的一个重要方向。
2、云上数据中台
数据中台未来发展的另一个重要方向就是基于云平台的数据中台,数据中台会拥抱k8s,实现弹性的资源调度,针对离线和在线的任务进行弹性调度,提升资源利用率,压缩成本。
3、自动化代码构建
现在我们构建的数据中台数据开发人员有很大的时间花费在ETL SQL编码、ETL代码构建上面,未来数据中台的实现可以朝着自动化代码构建和生成方向发展,也可以让非技术人员通过一些可视化操作完成自动任务的加工,临时表的加工,这个对于开发人员数据开发提升效率有很大帮助。
4、智能元数据管理和自动分析
从数据分析的角度来看,企业中的数据分析一般由数据分析师来决定分析的维度,他们决定这些分析维度也是根据经验,也就是说数据分析是有一定的门槛的。例如:这个月商品销量上升跟哪些指标有关?跟广告投入有关?还是跟用户分布有关?新用户贡献多?还是回购用户多?我们数据分析师根据经验知道分析哪些指标。
数据中台未来可以进行智能化的数据管理,可以通过设置那些表有哪些分析指标,这些指标有哪些可分析的维度,基于数据中台构建的数据管理平台,当用户提供一个指标时,平台立刻呈现当前指标可分析的维度,甚至可以在对应维度上进行自动分析。
例如:我是一个自行车销售商,我发现本月自行车销售额变的非常高,那么为什么本月销售额边的高?这时我们就可以从数据中台调出销售额可分析的维度,比如:地理、时间、品牌、天气、渠道、价格等,并且可以结合这些维度进行销售额分析。分析结果我们发现本月天气晴天多了,自行车出行多,导致销售额增加。这样就不需要我们根据经验判断销售额到底和哪些维度有关。