“数据交付”难题,中国铁塔这样解开了

2021-07-07 15:58:43 浏览数 (2)

不同于很多大型央企,组建于2014年的中国铁塔公司的信息化系统始建之初就构建在天翼云、华为云和联通云等云服务的基础上,生来就是云公司,没有很多央企传统应用系统的包袱。尽管如此,应用中他们也遭遇了数据及时交付的难题。

数据交付效率难题

中国铁塔实施的是"一体两翼"的策略,以面向行业内塔类与室分业务为"一体",以基于站址资源社会化共享业务、面向社会专业化备电保障服务为"两翼",如今已经发展培育了多点支撑的业务增长格局。

中国铁塔根据需要,目前已经构建了大大小小130多个信息化应用系统,涉及5000多台虚拟机以及大约7PB数据存储容量。

这100多个包括生产系统、准生产系统、开发验收以及测试系统。根据需要,以每3个月左右为周期,定期要向开发/测试系统提交生产数据,每一次数据交付周期,都让专业技术人员大费周章。

据了解,为了尽可能减少对生产系统性能的干扰,传统获取数据的方式,要借助准生产系统恢复备份数据,然后提交生产/测试系统使用。这个过程主要依靠手工完成,效率不高,大约需要1个月左右时间,加班加点才能完成,由于依靠备份数据,这些数据不能完全贴合业务的实时状况。

有数据显示:一份生产系统数据,在企业内部往往会有10多个数据副本,供容灾、测试、开发以及数据分析等使用。对这些副本数据缺乏行之有效管理,存在很多安全管理的漏洞,很多泄密事件系由此产生。中国铁塔没有那么多数据副本,但是开发/测试验收对数据还是有周期性需求,所涉及系统众多,因此存在数据及时交付的问题。

经过多方技术调研,中国铁塔引入了上海上讯ADM (Agile Data Management,敏捷数据管理平台)。采用新的系统,原本需要6人1月的工作量,最多一周就可完成,有时候2天就可完成工作量,数据实时性也得到保障,难题迎刃而解,开发/测试部门满意度显著提升。

揭秘ADM系统

让人交口称赞ADM是怎样一个系统呢?

ADM是一套综合数据治理解决方案,它采用数据库虚拟化等核心技术,保障业务数据高效使用、安全管控以及合规审计,由生产数据管理、备份数据管理、敏感数据管理、测试数据管理、数据访问管理五部分组成,可以解决数据备份与恢复、备份数据自动化恢复与有效性验证、静态数据脱敏、测试数据多副本快速交付、数据库权限访问控制与动态脱敏以及多场景融合下的实际问题。

在中国铁塔案例中大显身手的就是测试数据多副本快速交付系统,所谓拷贝数据管理(CDM)系统,它通过数据库虚拟化技术获取、存储与生成生产数据副本,借助原始数据存储,虚拟数据库挂载等技术,实现数据快速交付、集中管控,以及中间数据存储、流转等目标。

需要格外关注的是,CDM系统不仅交付数据,同时也交付了一套完整存储系统,供开发/测试等业务部门使用,实现了数据集中管控,从而摆脱了单纯数据拷贝引发的失控问题。

据了解,CDM提交的这个存储系统,内置了独有的压缩比高达4:1的高效压缩存储池,存储即压缩,数据存储成本效率高。要知道传统数据交付,企业也需要占用磁盘等存储空间,副本越多,容量越大,越分散,这同样占用企业资金。

如今,透过集中管控的存储系统,上海上讯ADM专利技术能够做到一份基础数据源,应对多种业务系统的需要,ADM可快速拉起多份虚拟数据库供不同系统使用,彼此之间可独立读/写操作,其内置的智能读/写缓存机制,不仅解决系统并行操作使用的压力,同时保障数据完整和安全使用。

通常情况下,ADM可将TB量级数据库在分钟级拉起,满足开发/测试、查询分析、合规审计、应急容灾等业务的需要。

由于采用了集中式数据存储系统,在数据管理上,ADM就能够提供可视化虚拟数据库拓扑结构图,对系统全局数据使用关系提供预览,让测试数据的组织机构、优化测试数据的资源分配等一目了然;ADM提供的虚拟数据库资源分组管理,可实现同组人员数据操作权限共享、测试数据库分类管理等功能;其测试数据版本管理,可跟踪数据流向,识别虚拟数据库使用状态,实时拍摄快照,实现数据版本的保留,数据的回退或切换,让数据版本管理更加灵活。

冰山一角而已

在中国铁塔案例应用中,上海上讯ADM旗开得胜,马到成功。但是青出于蓝胜于蓝,这不过是小试牛刀,冰山一角而已,ADM的惊喜远非如此

CDM能够解决的不仅是数据交付,也具有数据备份与恢复、备份数据自动化恢复与有效性验证、静态数据脱敏、以及数据库权限访问控制与动态脱敏等多种功能,依托大数据和人工智能,未来也可以增加数据分析的功能,为数据业务创新提供支持!

在传统信息化系统布局中,生产系统、办公管理等核心系统之外,容灾备份、开发/测试,以及数据分析等属于辅助系统,企业根据实际情况分散建设,缺乏全局统筹规划和管理。但是随着数字化转型,数字经济的备受关注,辅助系统的重要性不断提升。

统筹规划辅助业务系统的技术也已经成熟,所谓第二存储,简单说就是透过一个集中式的系统,同时满足容灾备份、开发、测试和数据分析等辅助业务系统的需求,变分散为集中,集中调度,集中管理。上海上讯ADM就是其中的佼佼者之一。

全面推广和使用ADM可能吗?问题并不在技术上,技术已经非常成熟,需要突破的是人的观念。

长久以来,习惯了现有的应用方式,以容灾为例,已经习惯用备份、数据复制的方式来实现容灾,也有行业等保条例的要求。很多业务系统也是按照这个节奏逐步发展成熟。现在需要我们改变这种方式,挑战就是显而易见的。

不求有功但求无过的禁锢,让我们难以突破。

但是这种突破带来的价值是显而易见的,无论容灾保护速度、水平,还是DevOps、数据创新与分析,AI应用,完全架构在一个统一的数据架构基础上集中管理,安全性、效率完全得到保障。

突破也不意味着推动重建,以一个问题作为突破口,由点到面,逐步发展,类似农村包围城市的道路,也不是一种最明智的选择!

无论如何,ADM的新机遇已经到来。

小结

数字经济时代,围绕着数据这个核心创新业务发展,必将成为发展的关键环节。新时期,不仅需要新的技术方法,更需要视野和勇气!数据交付不过是冰山一角,还有更多的金矿有待发掘,这是一个数据创新的时代!

0 人点赞