作者 | 李冬梅
2022 年 1 月 6 日,由中国电子技术标准化研究院指导、 CSDN 主办、OceanBase 承办,InfoQ、木兰开源社区、开源中国、51CTO、思否、dbaplus、墨天轮、稀土掘金协办的【DC2021 分布式数据库开发者大会】正式开幕。受疫情影响,本场大会采用了线上的方式与数据库开发者共话当下最前沿的技术趋势,分析企业技术实践,共创“数聚未来”。
2021 年是充满变革的一年,以 AI、5G、开源为代表的产业和技术得到了长足的发展,这背后离不开数据的贡献。数据是数字时代的石油,随着全社会数字化转型进程的深入,地球上的数据总量正在以指数级的速度成倍增长,其规模已无法测算。就在去年,我国也明确了数据在市场化配置过程中成为了继土地、劳动力、技术、资本之后的第五大生产要素。
承担数据存储与计算的数据库与操作系统、中间件并列为三大基础软件,是所有企业技术布局不可或缺的基石。几乎所有的应用软件都要基于数据库去存储、管理和处理数据,数据库直接影响到应用软件的运行效率、可拓展性、灵活度和可靠性。
数据库的诞生跟账密切相关,记账、转账、算账,前两个属于 OLTP,第三个这是 OLAP,这也是数据库三个最基本的功能。互联网时代之前,商场的数据库是商场的员工在使用,酒店的数据库是酒店的员工在使用,企业的数据库是企业的员工在使用,数据库使用的频率不高,并发量也不大。
随着互联网、云计算、AI 的发展,数据库的使用者就不仅是酒店、企业或商场员工了,而是面向了几千万、几亿的用户,不仅使用频率非常高,用户数量也增加了几个数量级,并发访问量增加更多,传统的集中式数据库扩展能力不足,已经无法解决当下的问题,因此云上数据库有了自由生长的土壤。
1 全球数据库市场的发展现状
数据库并不是一个新鲜事物,它起源于上世纪 70 年代,在经过了一个世纪的发展后,目前数据库行业已经进入到迅猛扩张阶段,未来,随着海量数据的爆发,全球数据库行业市场规模有望突破 2000 亿美元。
云数据库市场空间巨大
2020 年,Gartner 将魔力象限从 Operational Database 更名为 Cloud Database。Gartner 报告显示,2020 年全球数据库市场规模为 648 亿美元。未来,数据库市场的规模还将继续增长,预计到 2024 年,全球数据库市场规模将达到 1000 亿美元。
从 2020 年的数据来看,云数据库已占据整体数据库市场份额的 40%,且贡献了增长市场的九成以上份额。据 Gartner 预测,到 2022 年云数据库营收数据将占据数据库整体市场的半数以上。据中国信通院测算,2020 年中国数据库市场规模约 241 亿元,占全球数据库市场规模的 5.2%。预计到 2025 年,中国数据库市场规模将达 688 亿元,年复合增长率为 23.4%。未来五年,我国数据库市场空间巨大。“2020 年,我国数据库市场规模在全球占比约 5.2%,而同期我国 IT 支出在全球占比约 12%。
对于数据库厂商而言,抢占市场才是生存下来的关键。长期以来,全球商业化数据库主要以 Oracle、IBM、Microsoft、SAP 传统四大厂商为主。而近年来,国内云计算巨头纷纷入局数据库领域,一定程度上改变了竞争边界,打破了过去以 Oracle 为代表的巨头垄断格局。
尤其最近几年,国内数据库市场由于政策利好、资本入局、数字化转型驱动等多方因素,市场异常火热。老牌数据库厂商不断焕发新机、新兴数据库厂商不断涌现、其他领域厂商向关系型数据库领域跨界,这些都为我国的数据库软件市场注入了新的活力,本土品牌市场迎来了空前繁荣和发展机遇。
开源数据库热度上升
DB-Engines 今年 12 月份数据库排名显示,传统数据库霸主 Oracle 依然稳居榜首,但据去年同期分数下跌 43.86;知名开源数据库 MySQL 位列第二,分数较去年同期下跌 49.41,较上个月下跌 5.48;而位居榜三的微软 SQL Server 分数较去年同期下跌 84.07,稳占“同期跌幅榜冠军”。
此外,从 DB-Engines 发布的数据上还可以看出,开源数据库 PostgreSQL、MongoDB 虽然排名不及 Oracle 和微软 SQL Server,且短时间内与两者有一定差距,但 PostgreSQL 的分数较去年同期上涨 60.64,稳稳拿下了“本月同期涨幅冠军”。
图片来源:DB-Engines
图片来源:墨天轮
再看国内市场,墨天轮 12 月国产数据库排行榜中,排名前列的 TiDB、openGauss 、OceanBase 皆为开源数据库。在全社会都在积极进行数字化转型的大背景下,传统数据库的很多技术如缓冲区管理、各种对象的创建等都受到了资源的限制,因此很难有更广阔的发展空间,而云原生数据库、开源数据库等新一代数据库正在加速崛起。
“云 分布式”数据库是大势所趋
2021 年,数据库领域可谓是百花齐放。而这其中,分布式数据库的表现尤为亮眼,很多业内人士将这一年视为分布式数据库的元年。
分布式数据库由多个相互连接的数据库组成,这些数据库组合在一起形成一个面向用户的单个数据库。实际上它们分布在各个数据中心,通过中央服务器进行通信。分布式数据库具有高可扩展性、高并发性和高可用性的特点。
根据 Gartner 测算,全球分布式数据库软件市场规模持续走高,年复合增长率达 16.9%;而根据 IDC 的预测,中国的关型数据库的市场则发展更加迅猛,年复合增长率接近 30% 左右,在这其中云数据库和分布式数据库的增长贡献非常大。
此外,Gartner 还指出,云计算将主导数据库市场的未来,到 2022 年,75% 的数据库将被部署或迁移至云平台,只有 25% 的数据库会在本地运行。随着企业业务更加数字化、智能化,企业面临的数据存储量将会更加巨大,面临着更多突发状况带来的挑战,想要进一步降本增效并让数据更好地进行决策,那么就需要进入“云 分布式”的时代。
2 OceanBase 发布全新 3.X 工具家族,重新定义“分布式数据库”
过去十年,中国互联网爆发式的增长,许多的技术都发生了跨越式的发展和突破,这其中分布式数据库在近年来的表现十分突出,尤其是面对海量数据的场景化需求时,我国的分布式数据库具备了大规模横向扩展和跨机房跨地区低延迟、高可用的能力。
市场上的数据库产品百家争鸣,各放异彩。其中,今年 6 月刚刚开源的 OceanBase 在过去一年取得了更多的关注。据 Gartner 数据显示,越来越多的企业将 OceanBase 作为核心系统升级的首选。在此次大会上,OceanBase CTO 杨传辉(日照)发布了全新 3.X 工具家族,包括运维监控工具 OCP、开发者工具 ODC 和迁移同步工具 OMA & OMS。
据日照介绍,OCP 2.X 已经实现了在基础运维工作全面白皮化的基础之上,进一步提升了智能诊断的能力,提升了运维效率,最大支持超过 1500 台机器的集群;ODC 能够支持 PL 存储过程的开发与调试,通过增强的安全审计能力,向企业及安全管控迈出了一大步;OMS 将持续完善数据源,支持超过 10 个不同类型的数据源。同时还实现了从迁移评估、数据迁移、数据同步、数据校验等一系列一站式迁移服务的能力。
此外,日照还宣布 OceanBase 社区版 3.1.2 正式发布,包括三大核心技术升级:第一、秒杀性能提升 300%,第二、生态适配全面加速,支持 Hbase 对接能力;第三、推出全新社区版工具体系(社区版 OCP、社区版 ODC、社区版 OMS),提供白屏化集群管理、租户管控、开发调试、数据同步、导入导出等完整功能,协助社区用户快速上手。
11 年来,OceanBase 一直坚持自主研发,并于今年 6 月份面向全球正式开源开放,每一个用户都可以通过 OceanBase 设计模式快速获取蚂蚁集团 11 年数据库技术积累。之所以选择将 OceanBase 开源,OceanBase CEO 杨冰表示,“中国有最好的环境,我们愿意在未来把最大的精力放在中国市场。未来 10 年我们将持续专注于产品力的提升上面,这种产品驱动的增长模式也必须在坚持长期主义的理念下推进,也正是因为这种理念,我们今年选择了开源,用商业加开源双轮驱动的模式,来最大程度地驱动产品发展。”
这样一个好的时代不能错过,也不能辜负。为了保持这样的一个持续发展的势头,归根到底还是要靠人才的培养。
杨冰坦言,在人才培养上,OceanBase 为此也做了很多的事情。在此次大会上,杨冰宣布为广大开发者以及数据库的爱好者提供了全方位的、专业的教材和电子书,实现了教案、教材、教具、参考的全覆盖,触达 3500 学生。
在过去几个月,OceanBase 也举办了数据库大赛,国内外 200 多所高校、200 家企业、1179 支团队,约 2000 名数据库爱好者报参赛。OceanBase 希望通过这样的方式能够提升数据库行业的社会影响力。
3 首个分布式数据库“海纳奖”正式揭晓
随着数字化转型进入深水区,基于核心系统的数字化升级成为了热门词,新型的分布式数据库正在成为数据库技术研究和应用的热点。而在分布式数据库背后,站着的是航线内无数的建设人员。
在 2021 年底,由 CSDN 联合 InfoQ、思否、51CTO、开源中国、稀土掘金、木兰开源社区共同发起了海纳奖评选,选出了分布式数据库十佳实践人物,希望通过他们背后的故事,为分布式数据库行业发展树立榜样,推动分布式数据库产业的发展。获奖名单如下:
● 中国人寿上海数据中心 数据库管理组负责人 卢强
获奖理由:
他是一名技术爱好者,也是一名资深 DBA 他一直服务于企业数据库技术管理一线 他近年来重点关注分布式架构下的数据库技术发展 他带领团队着力推动新领域和新特性在企业的落地及推广
● 恒生电子数据库技术小组组长、云基础部门副总经理 林景忠
获奖理由:
他长期积极投身于金融行业数据库国产化替代和分布式架构升级 他对金融核心系统结合分布式数据库技术有深刻理解和前瞻性认知 他在多家证券客户相关项目作出重要贡献
● 浙江移动信息技术部云智能中心平台架构部主管 潘宇虹
获奖理由:
他是运营商行业分布式数据库的践行者 他长期探索数据库自主可控有效路径,推动核心系统分布式改造 他主导完成运营商行业首例跨城多活分布式数据库的生产上线
● 武汉大学副教授 杨先娣
获奖理由:
她多年从事数据库方向人才培养 她以创新的教学模式激发学生对数据库技术的学习热情 她在面向本科生的《大数据导论》通识课中融入领先的分布式数据库产业实际案例,提升学生对数据库技术趋势的认知,引导学生进一步探究数据库技术。 她独自研发 MOOC 并设立示范性课程项目,2021 年全年共培育相关高校学生超过 1000 人。 她联合 OceanBase 开发 MiniOB 教程
● 涛思数据创始人 陶建辉
获奖理由:
他是连续创业者,在高可靠分布式系统、即时通信、消息队列等方面是顶尖技术专家。 他是国产开源时序数据库 TDengine 的设计者。 他设计并开源了 TDengine 的集群功能,支持分布式扩展,获得了多项专利。
● SphereEX 创始人 张亮
获奖理由:
他是 Apache Member,积极参与开源社区贡献 他是数据库技术领域知名开源实践者 他是 Apache ShardingSphere 创始人 & PMC Chair《未来架构——从服务化到云原生》书籍作者。
● 字节跳动基础架构数据库技术负责人 张雷
获奖理由:
他拥有十年以上分布式存储与数据库设计与研发经验 他负责字节跳动数据库领域 / 对象存储领域相关的研发团队
● 中联重科中台架构师 姜维
获奖理由:
他创建了 jeesuite-libs 开源项目, 现已形成分布式架构整体成熟解决方案。在数据库方面对 mybatis 深度拓展定制,实现 CRUD 增强、自动缓存、读写分离、分库分表、数据权限、国际化自动合并、软删除、乐观锁等特性。
● 滴普科技 CTO & 2048 技术研究院首席程序员 吴小前
获奖理由:
他参与了百丽集团 PB 级数据迁移 他是国内湖仓一体核心组件开源社区主要贡献者 他是 ClickHouse 社区核心贡献者 他规划并设计了中立湖仓一体数据平台
● 南京银行鑫云 基础平台负责人 朱孝天
获奖理由:
他是南京银行金融业务及数字化转型上的有力推动者之一 他推动了分布式数据库的金融核心实践
结语:
国内分布式数据库领域的发展,不能光靠数据库厂商来推动,还要应用开发商、企业用户,甚至全社会的力量都参与进来,多用,多实践,提出更多有价值的意见,才能共同推动国内分布式数据库生态的发展,赢在当下。