打破企业数据孤岛和提取数据价值
一、数据汇集-打破企业数据孤岛
要构建企业级数据中台,第一步就是将企业内部各个业务系统的数据实现互联互通,打破数据孤岛2,主要通过数据汇聚和交换来实现。
- 企业采集的数据可以是线上数据采集、线下数据采集、互联网数据采集、内部数据采集等。线上数据采集主要载体分为互联网和移动互联网两种,对应有系统平台、网页、H5、小程序、App等,可以采用前端或者后端埋点方式采集数据。
- 线下数据采集主要是通过硬件来采集,例如:WiFi信号采集、摄像头、传感器、信令数据采集、图像视频采集等。
- 互联网数据采集就是说的网络爬虫,当企业的内部信息不足时,可以考虑利用外部互联网数据与内部数据进行有效融合,从而让内部数据在应用上有更多的价值。
- 内部数据汇集主要是针对业务库中的数据通过工具进行汇集。
一些公司也会开发自己的数据交换产品来屏蔽底层工具的复杂性,以可视化配置的方式提供给企业用户。
二、数据开发-提取数据价值
数据开发涉及的产品能力主要包括是三个部分:离线开发、实时开发、算法开发。
- 离线开发主要包括离线数据的加工、发布、运维管理,以及数据分析、数据探索、在线查询和即席分析相关工作。
- 实时开发主要涉及数据的实时接入和实时处理。
- 算法开发主要提供简单易用的可视化方式实现数据价值的深度挖掘。
针对以上三个部分,构建数据中台时可以使用原生的技术来实现也可以通过数据开发套件对大数据的存储和计算能力进行封装,通过产品化的方式让用户更容易的使用大数据。