2023年新年伊始,没想到最先到来的是市场的寒意。近一个月,Salesforce、谷歌母公司Alphabet、IBM、SAP等国外大厂纷纷裁员,轰轰烈烈的裁员浪潮下,谁又能独善其身。
地主家都没余粮了,我们普罗大众更要细思量。在这个档口,一篇名为《你怎么还在招聘DBA?》的文章引爆了数据库圈,在很多DBA群里炸了锅。该文从新技术演进的角度指出IT负责人是时候停止招聘DBA了,并列举了以下三个原因:
1、DBA能做的日常运维,普通开发者使用云平台都能做。
2、开发者用云服务能把很多数据库管理工作做得更高效。
3、你以为DBA能做的数据架构设计,其实他们从来都做不了。
感兴趣的同学可以去网上搜索原文阅读,毕竟牵扯到个人的饭碗,也难怪会引发DBA激烈讨论。实际上从技术层面讲,新技术的出现必然会带来职场的新旧更替,一些旧职业会受到冲击甚至慢慢退出历史舞台,新的职业也会出现。不过在裁员潮的大背景下,任何关于职业终结类的话题都太容易挑动本已敏感的神经,放大技术迭代带来的职场忧虑。
回到DBA所在的数据库领域,随着数据库新技术不断发展,一些新的数据库产品出现,对整个市场都产生了很大的影响,关键技术趋势正在重塑许多组织中的DBA角色,DBA也迎来新的机遇和挑战。
去年,在DBTA的一次网络研讨会上,Datavail公司高级MySQL/MariaDB数据库管理员Kathryn Sizemore指出DBA如今正面临众多挑战,包括:
· 灵活性和创新:部署的速度(包括基础设施和代码)
· 成本和效率:降低运营成本和复杂性,提高劳动力生产力
· 可靠性。保证不同服务的SLA,HA和DR需求
· 可扩展性:快速缩小和扩大规模,季节性扩展
· 安全性
Sizemore还指出,云是未来的趋势,DBA需要熟悉混合云和多云。
在经济下行压力增大,外部环境不确定中,企业和个人都需要夯实基本功,才能挺过寒冬。现实中DBA通常扮演着救火的角色,甚至是背锅的角色。现在还要面临着云计算、分布式、AI、专精特新等新技术带来的影响。未来,DBA会消失吗?DBA该如何应对新技术带来的挑战?如何强化己身在狂风暴雨中站稳脚跟?
日前,IT168&ITPUB采访了部分数据库厂商,既有云大厂,也有分布式、开源以及服务于专精特新细分场景的厂商,他们是前沿数据库技术的重要推动者。所谓当局者迷旁观者清,以一个DBA之外的“旁观者”视角,分享他们对DBA发展的观察和思考,或许能带来不一样的启发。先给广大DBA一颗定心丸,受访嘉宾普遍认为,无论如何发展,DBA的角色不会消失,但是DBA的技能需要随着新技术的到来进行调整。受访嘉宾普遍建议DBA在学习数据库技术之外,要多接触业务,多了解业务,如此才能为企业带来更大价值。以下是他们的观察、思考和建议:
易鲸捷CEO武新:DBA不会消失,但要与时俱进
易鲸捷CEO武新有30多年的数据库从业经验,包括早期的DBA经历。他认为虽然现在分布式数据库是大势所趋,新技术的发展为DBA带来了挑战,但是同样也带来了机遇。他也结合自身从业经历,为DBA提供了建议。
第一点,DBA 以前积累的知识和技能经验,并不会因为用了分布式数据库就突然变得没用了。分布式数据库主要还是关系数据库,关系数据库的一些基本原理和机制,其实无论是集中式数据库还是分布式数据库都是通用的。比如事务、SQL优化、数据的完整性、一致性、备份、恢复、容灾,抽象出来这些知识,积累的知识仍然很有价值。
第二点,DBA要与时俱进,分布式数据库的发展也是个机会,现在不像以前,买一个成熟产品回来,看到的是黑盒子。分布式领域,国内外的厂商都比较新,DBA学习新的技术,新的产品,然后跟国产数据库厂商一起成长。其实与国产数据库厂商打交道一个好处,如果对数据库技术感兴趣,你可以了解得很深入。因为厂商在国内,你能够与厂商的研发直接沟通交流,如果对代码感兴趣,甚至可以去研究数据库的代码,当然有些代码可能是开源社区的。如果DBA要与时俱进,有好奇心想学习,现在比 10 年前 20 年前要好很多,提升自己的机会和路径就更多了。
DBA 是不会消失的,数据已经成为新的生产要素,成为企业的一种资产,DBA 就是守候这些资产的群体之一,而且数据的价值越来越重要。但是DBA 除了数据库运维以外,可以关注一下上层应用,帮助应用团队可以更好地使用数据,DBA可以往上发展自己。此外,DBA可以去研究所处企业整个IT架构的演进,可以提些建议。比如现在应用开发基本都微服务化,云原生比较火,那云原生到底是怎么回事?云原生对企业IT影响是什么?对数据库的影响是什么?其实DBA 除了管数据库,也可以去研究一些IT架构的变化,甚至提一些有价值的建议,这样对企业和机构的贡献会更大。
星环科技联合创始人刘汪根:希望DBA建设新的面向分布式数据库的运维体系和方法论
目前国内分布式数据库带来了分布式架构的安全性、扩展性、灵活性等优势,分布式数据库内核层面的高并发能力和事务能力已经被验证,但是分布式数据库也带来了分布式架构的复杂度。未来分布式数据库能否大规模落地取决于两个核心关键因素,一是面向广大的开发者,分布式数据库能不能支撑企业这些年积累下来的存量业务应用。二是面向运维者,分布式数据库的运维体验是否能和原来的单机集中式数据库相似,或者没有很大的变化。
DBA是对分布式数据库的推广非常重要的群体,企业分布式改造可能要上升到架构师的角色。分布式数据库的应用,不是一个简单的迁移,而是总体升级的过程。总体上,面对分布式浪潮,无论是架构规划、运维体系的建设,都需要DBA群体建立一套自己的方法论和体系。
腾讯云数据库总经理王义成:未来DBA要多了解业务
可能以前的一些 DBA是自己运行自家的系统,他们对基础的部署,或者对基础的产品能力更为理解。比如原来基于 MySQL自建数据库系统,一些好的 DBA的优势和能力体现在能够大规模写一些工具,或者写一些内部服务,把成千上万台机器管理好。但是云时代,出于降本增效的需求,今天很多以前自建数据库的企业选择用云数据库。比如以前用SQL Server,MongDB等数据库,需要一两个DBA提供支持,随着这些数据库上云,可能企业自建的数据库也会逐渐减少。
数据库上云后,DBA需要做一些调整转变,可能需要从之前写工具、写内部服务这些点中跳出来。DBA未来要去更多了解业务,比如作为电商 DBA,或者游戏DBA,可能你需要了解电商/游戏业务的高峰期、低峰期什么时候到来,以及业务不同运行时期对数据库最核心的诉求是什么,诉求有什么不同,如何利用好云厂商提供的一些通用产品满足业务需求。此外,DBA需要了解云厂商提供的数据库产品基础理论,了解其产品的细节特性,把产品用好。
PingCAP 副总裁刘松:DBA 需要不断提升自己的知识和技能
过去10年分布式数据库的兴起已经培养了大量熟悉分布式数据库的DBA,分库分表时代DBA还有巨大工作量,进入到原生分布式时代,包括NewSQL数据库,HTAP数据库以后,DBA的运维负荷已经实现了某种程度的减负。当然,分布式数据库比单机数据库更加复杂,DBA 需要掌握更多的知识和技能来管理和维护它们。这两年,分布式数据库也逐步向云原生数据库演进,这些都进一步减轻了DBA的工作负担,使得DBA管理集群的规模可以更大,可以有更多时间考虑数据架构的优化,总体来看,原生分布式和云原生等技术让DBA可以转向更为高价值的工作。
一项调研显示,架构师、开发者、DBA三者作为数据库软件真正的用户,日常的时间中 39% 在做业务创新、Coding,41% 的时间在做基础设施维护,如买服务器、部署服务器、运维等。对于DBA来说,Serverless 部署的成本变得极低,极致的 Serverless 不用关心任何运维的细节。DBA 可以通过代码和 open API 控制这些集群的起停。在拥有更大规模的基础设施时,这点是非常重要的。Serverless 在处理更复杂或更大系统的时候,能显著降低复杂性。不过,Serverless 计算把系统底层的管理转移给了供应商,DBA 只能对上层的应用程序进行管理,无法对系统底层进行控制。DBA 需要通过监控工具来监控数据库的性能并对其进行优化,但在 Serverless 计算环境下,这可能会变得更加困难。
数据库正向着智能化发展,中短期看,AI化发展会进一步释放DBA的重复性运维工作,AI化发展也会逐步在查询优化等领域带来助力,帮助DBA创造更大的价值,在一段时间内AI化都是DBA高效率的助手。长远来看,DBA工作中一些重复性脑力劳动会被AI逐步替代,DBA的核心能力也会逐步过渡到对于数据变现和数据架构支持业务的方面上来。
总体来看,DBA 需要不断提升自己的知识和技能,以适应不断变化的技术环境。同时需要关注行业动态,了解最新的数据库技术和应用场景,以便能够更好地应对新的挑战。云计算技术已经成为数据库领域的主流,AI和机器学习在数据库领域也有着广泛的应用,DBA 需要熟悉相关领域的技术并具有相关的知识和技能,通过实践来巩固所学知识,并不断积累实战经验。
蚂蚁集团图数据库负责人洪春涛:新型数据库对DBA提出了新的需求
对DBA来说,分布式给系统增加了一个维度的复杂性,挑战肯定是更大的。但是也因此,DBA的工作对分布式数据库来说是更有价值的。对于Serverless数据库来说,客户侧是不需要DBA的,但是云厂商(或者Serverless数据库提供商)需要DBA。总体DBA需求量会减少,但对DBA的要求是提高的。智能化运维会大大减少DBA的工作量,但是如何用好AI是DBA将来需要掌握的重要技能。
专精特新等新型数据库是针对新场景发展的数据库,新型数据库对DBA提出了新的需求,它们的系统特性与关系数据库有较大差别,同时也相对不标准,产品间差别较大,对DBA来说需要掌握的技能会更多。
在这些新型数据库中,图数据库是比较特殊的一个。图数据库采用点和边来表示数据,其表达能力比关系代数模型更强,模型也更符合人类直觉,因此有可能取代关系数据库成为一下代主流数据库。但也正因为其抽象更通用,图数据库从复杂度来说也高于关系数据库,其运维优化工作也比关系数据库要复杂。图数据库在未来的数据库市场中将会占据越来越重要的地位,同时又对DBA有较强要求,因此图数据库运维工作在DBA工作中所占的比重将越来越高,及早熟悉图数据库,可以帮助DBA在未来人才市场中取得先发优势。
开源能够帮助数据库技术更快演进,同时也为DBA学习数据库,参与数据库生态提供了更多可能性。在闭源生态中,DBA要学习数据库只能通过官方渠道,而且DBA对产品的反馈更难影响产品设计。而在开源生态中,DBA可以通过开源社区去自组织地学习数据库,他们对产品的反馈,权重与客户一样,因此能够更快传达到产品中,往往也更容易影响系统的设计。因此,DBA应当积极参与开源项目,不但能更快掌握一个产品,更能够通过反馈,让产品往更好的方向发展,从而打造一个更受自己喜欢的产品。
NebulaGraph CEO 叶小萌:DBA需要多了解业务
总体来看,智能化运维以及云原生数据库等新技术的发展,有个好处是解放了很多DBA原来要做的很复杂的工作,不管是AI也好,上云也好,都把DBA从很多繁琐工作上解放出来,他的 Workload可能从原来的100%降到30%、20% 甚至更低。
举个例子,原来数据库调优是DBA必须要去做的事情,像Oracle它的各种隐含参数可能有几千个,一般的数据库也至少有几十个上百个,那么这么多的参数下面怎么样去调优?这个其实是对DBA非常有考验的一件事情。很多时候凭经验,因为我也不知道调了参数会影响到啥,所以这个时候其实是有一定的人为因素在里面。
随着现在自动化的介入,AI是完全可以胜任或者接管这份工作的,就可以把DBA从繁复的调优工作当中解放出来。但是有一些没有办法解放出来的,比如数据建模等等这样一些工作我认为是解放不出来的,因为这需要他对业务有一定了解,所以这种时候我的建议是 DBA应该花更多的时间去接触业务、了解业务,往业务去做。
因为DBA本身具备了数据库的知识,他的优势就在这里——技术方面,对数据库的数据存储等等比较了解。如果他再了解业务的话,就可以成为技术和业务之间的桥梁,随着他往业务走以后,工作性质可能就不叫DBA,可能是解决方案工程师、售前、售后、客户成功等等,总之是去帮助客户更好地使用数据库产品,我认为这个可能是DBA未来的发展契机。
现在又出现了很多的专精特新数据库,包括我们的图数据库,还包括时序数据库、文档数据库等等各种各样的数据库,其实对DBA来说,他理解这些数据库是比较容易的,因为他有比较强的数据库背景知识。但是对于业务来说,其实很难理解什么是时序数据库,什么是图数据库,什么时候该用什么数据库业务是不知道的。在这种时候DBA应该往前走,他因为有技术背景的优势,所以我认为他要多去接触业务,给业务一些建议,你应该用什么样的数据库,怎么样来使用数据库。