2022
导语
随着数据价值被越来越多企业认可，数据湖存储已成为企业级存储的首选和新一代提升生产力的服务。12月1日，在2022腾讯数字生态大会存储专场，腾讯云升级了云原生数据湖产品能力，并详细阐释了其设计理念，对其在多个行业的应用进行了案例分享，为更多企业提供降低存储成本、提升存储性能的实践参考。
当下，数据的生产、存储和消费模式日新月异，随着数据的爆发式增长，在数据存储和处理方面的降本增效成为企业亟待解决的问题。
腾讯云存储高级产品经理林楠认为，“市场需要一个更大、更快、更全能、更低成本的存储服务。数据湖存储在应对多样化、多源化数据存储需求，应对多协议兼容和敏捷性服务等方面，均能满足企业构建统一存储服务的需要，是企业级存储的未来形态。”
顺应这一趋势，腾讯云于2021年发布了国内首个云原生数据湖存储产品图谱，推出了基于对象存储服务的数据湖三级加速体系，并推出了数据湖三级加速体系。
在设计理念方面，腾讯云原生数据湖三级加速体系秉承了统一存储的思路，其底层存储基座使用了腾讯自研对象存储服务，单集群可管理百EB级别文件；在此基础上组合元数据加速器、AZ加速器和数据加速器GooseFS等多种高内聚、松耦合的数据加速服务，以实现性能和成本的整体优化与平衡。
具体而言，该体系通过数据加速器GooseFS，实现近计算端的缓存加速服务，降低超过50%的对象存储访问带宽；通过元数据加速器，提供原子性的文件系统语义操作，实现元数据操作性能10倍提升；通过AZ加速器，提供 Tbps 级海量吞吐和毫秒级的响应。同时，以三者的灵活组合应用，以应对不同业务场景。
此次大会上，腾讯云原生数据湖存储实现了性能的再升级，以更灵活的可插拔服务和更具性价比的解决方案，助力企业上云，用数赋智。
在实际使用过程中，该体系展现了优秀的性能和成本优化能力，例如，使用GooseFS COS的组合，相较于本地HDFS集群部署可实现20%的性能提升，同时利用对象存储服务海量、低成本的优势，实现了更高性价比的数据存储。此外，腾讯云原生数据湖三级加速体系还打通了腾讯云生态，企业客户可以依托腾讯云构建完整的企业级数据治理方案，实现数据要素的快速流转和价值发现，提升企业竞争力。
通过数据湖三级加速体系，腾讯云成功服务了多个等各行业标杆客户，助力其将本地大数据存储迁移到公有云上，并由此获得成本上的收益和性能上的提升，促进客户数据业务的稳步增长。
以某音乐客户的实践为例，腾讯云原生数据湖存储帮助其真正实现了按需存数和按需用数，客户不用按峰值准备资源，存储成本直接减少18.4%。同时，通过GooseFS就近计算节点的缓存能力，业务侧也减少了对底层存储的读写带宽，最高实现了50%的平均带宽降低。
在另一自动驾驶客户的实践中，针对AI 训练场景，客户使用 GooseFS 加载 TFRecord 文件加速模型训练。根据训练结果显示，使用 GooseFS 可以达到理论性能上限的 95.6% ；对于原始小文件平均提速19.2%。
此次数据湖三级加速体系的能力更新，是腾讯云存储在云原生数据湖领域的新探索与构建。未来，腾讯云存储也将持续推动云原生数据湖技术的发展和落地，为广大企业提供更快、更全能、更低成本的存储服务，助力各行各业释放数据价值，加速迈向数字化。
点击“阅读原文”了解更多信息
