12月1日，在2023长三角金融科技节金融科技发展大会上，《海量数据处理技术金融应用研究》报告正式发布。据悉，该报告是金融行业首个面向海量数据处理技术的专题研究报告，由北京金融科技产业联盟指导，腾讯、兴业数金联合牵头，中国工商银行、中国银行、浙商银行、北京科技大学、飞腾信息、连用科技等参与编写。
图片《海量数据处理技术金融应用研究》报告发布现场
金融行业对海量数据的处理面临数据存储、数据计算、云化计算、融合计算和研发运营等多方面的挑战，行业从业者也迫切希望了解海量数据处理技术的发展情况和典型实践，以促进本机构金融数据业务价值的挖掘。
本报告针对行业关注的问题，对海量数据处理的技术、应用、痛点、建设等方面进行系统的分析，从行业发展、应用情况、落地痛点以及关键技术等多个维度展开研究，结合我国金融业多个典型案例的实践成果，论证这些关键技术和实施路径的有效性和可行性，并对人工智能、数据湖仓、数据网格等前沿数据技术应用进行初步分析，探讨金融业未来的数据技术发展趋势。
报告指出，金融业在海量数据处理方面呈现出“五化”的技术趋势，即云数一体化、存算分离化、湖仓一体化、计算融合化、研发运营一体化。
- 云数一体化
从物理机部署、虚拟化部署，到云化部署、多云部署，包括潜上云、核心上云、以云为主、深上云等，容器化大数据计算查询引擎组件，构建弹性、高可用、云化计算层。
- 存算分离化
将存储与计算分离在不同集群中，分别提升存储和计算的弹性，为后续爆发式数据应用提供可线性增长架构支持。
- 湖仓一体化
将数据仓库和数据湖进行结合，将易用性、标准型与灵活性、经济性结合，实现批流融合的数据存储、计算与统一访问。
- 计算融合化
实现跨数据源、跨执行引擎数据访问方式，为数据大融合提供技术支撑。
- 研发运营一体化
将敏捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，是数据开发的新范式。
海量数据处理是金融业大数据技术领域的关键难点，基于“五化”技术的探索和应用，对金融业海量数据进行高效的存储、计算、分析和运营，将有效帮助金融机构深度挖掘数据的潜在业务价值，释放金融数据的潜能，实现降本增效。
