作者|Nature
出品|AI机器思维
万物皆数,透过数据的魔镜能够帮助人类照出万物的本质,看人看物看世界。正如实现心愿的如意——如意如意快快显灵,数据的如意如今已经成为评判人和物的标尺,给人给物画像。
世界万物皆被记载,人与物形成的过程数据都被记录、存储以及传输。文化的载体从纸媒到数媒,历史的轨迹从静态到动态运行状态皆有数据记载,形成了巨大的数据海洋。没有哪一个时代像现在这样这么容易的获得这么丰富的各类数据。便捷的数据收集带来了数据创新应用,促进了统计学、机器学习、数据分析与数据挖掘的发展,同时带来了新科技产品的智能化、智慧化实践应用。
人类的必需品是空气、阳光和食物,智能机器要想拥有人的思考与决策,实现智能化到智慧化的转变离不开数据,数据是智能机器的必需品。
数据从早期的简单数据存储已经迈入了复杂的数据生态系统中!
回顾下数据发展的历史,更能体会到数据的变化状态。早期的数据伴随计算机的产生就是比特信息的传输交流,形成了信息记录。随着科技发展,数据库的出现,运行状态的数据开始得到存储应用,如银行的静态的客户身份数据、交易数据、时点数据等等。基础科技的发展促进了数据复杂度生态。互联网、物联网、移动互联网、云计算以及大数据等基础科技的发展应用让数据更好的运行流动,从而形成了数据的海洋。数据的存储从传统的只是存储格式化数据(格式化数据是存储在关系数据库中的数据,可以用二维逻辑表达实现。)到存储非格式化数据(非格式化数据是不方便用数据库二维逻辑表达的数据,如图片、语音、图像、多媒体视频、网页、电子邮件等)。
人借助智能手机、计算机实现与机器和人互相交流通信;物借助物联网通过传感器实现互相交流通信;机器与机器之间借助网络实现机器与机器的交通通信,理解彼此,依靠机器语言传递交互信息,彼此学习。
随着人类社会的发展,人、物、机器等都通过网络链接形成了一个复杂的生态网络社会。在这个复杂的生态网络社会上产生了历史数据、行为数据、实时数据等等。基础数据的形成促进了产业经济的发展,从而进入数字经济时代。中国目前在消费数字经济领域可以说领先全球,但在产业基础数字经济领域还与世界有很大差距。
人借助智能手机、计算机产生了与交通、金融、医疗等交互的数据,从静态到运行状态,让数据具有了行为数据的收集。提前了解人的需求服务成为个性化服务的一个应用,更好的体验让人与生活变得更加美好。
数据越来越复杂,数据治理成为行业痛点,为什么要进行数据治理?
1.数据多头管理,无专门对数据进行监督和管控部门
各基础系统复杂组合应用形成了复杂的多数据系统,从而出现数据管理职责分散、权责不明确的情况。由于各个部门关注数据的角度不尽相同,从而缺少一个组织从全局视角考虑对数据进行管理,导致无法建立一个统一的数据管理规则与标准等,各自为政,缺少统一的数据规范、可信的数据来源和数据标准,导致数据不规范、不一致、冗余、无法共享和利用等问题。
2.数据不完整,具有一定局限性和片面性
3.数据口径不一致,缺乏统一标准
4.数据分布零散,不利于部署和同步
5.数据共享与整合困难
6.数据正确性有待提升
7.缺少数据生命周期管理
人有生命周期,数据也不例外,数据也有生命周期。要把有效数据和无效数据区通过生命周期管控处理。数据不断增长,规模越来越大,有效的数据生命周期管控是数据治理的手段。
8.数据不集中,不利于数据分析与数据挖掘和应用。
9.随着数据安全法的提出,数据安全管理需要加强,防范数据泄露。
由于以上原因,可以看出无论哪个组织和部门都需要数据治理,具体落实到细则上需要从数据治理体系框架下以下几个方面考虑,要理解数据治理是更好的发挥数据价值的关键,对数据资产管理、规划、监控、管控数据安全、数据质量管理、元数据管理、数据生命周期管理。借助数据治理工具从技术平台、技术工具以及技术规范上进行数据治理。
真正要实施好数据质量,管理层是关键,统一认识,形成战略目标和规划,制度好组织架构、规章制度以及流程管理。
数链万物,依靠数据发挥价值需要真正对数据进行数据治理、数据分析、数据挖掘才能更好的服务上层复杂的应用系统,真正建立以客户为中心的运营理念。数据是未来最重要的价值资产,用好数据才能更好的发挥数字经济时代的价值。