拥抱云原生,数据湖加速器 GooseFS 助力 Fluid 数据缓存实现

2021-08-25 11:06:39 浏览数 (1)

01

前言

数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。依靠对象存储(Cloud Object Storage,COS)作为数据湖存储底座的成本优势,为数据湖生态中的计算应用提供统一的数据湖入口,加速海量数据分析、机器学习、人工智能等业务访问存储的性能。

近年来,云原生概念的兴起进一步加速了计算资源的弹性化。腾讯云容器服务(Tencent Kubernetes Engine,TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,为容器化的应用提供高效部署、资源调度、服务发现和动态伸缩等一系列完整功能,解决用户开发、测试及运维过程的环境一致性问题,提高了大规模容器集群管理的便捷性。

越来越多的大数据业务架构中采用了容器服务,减少了集群的资源冗余情况,有效降低了大数据业务成本

02

GooseFS助力Fluid数据缓存实现

Fluid是CNCF基金会旗下云原生环境中数据密集型应用的高效支撑平台。云原生环境下,计算存储分离架构提升系统弹性的同时,给大数据/AI等数据密集型应用带来了计算性能和管理效率方面的挑战。

现有云原生编排框架运行此类应用时,存在数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点。Fluid正是为解决这些问题而生的。

近期 Fluid 0.6 版本正式发布,在该版本中,GooseFS 作为新增的缓存引擎正式亮相,同时支持缓存引擎高可用并新增公有云缓存引擎

为了满足不同环境用户对缓存系统的需求,Fluid 提供了可插拔的分布式缓存 Runtime 接入框架。

在 Fluid v0.6 中,来自腾讯云的社区贡献者基于该框架开发了 GooseFS Runtime,新增了一种支撑 Fluid Dataset 数据管理和缓存的执行引擎实现。用户可以在 Fluid 中通过 GooseFS Runtime 使用 GooseFS 缓存能力访问和缓存腾讯云 COS 中的文件,可以实现数倍加速业务访问。

腾讯云容器服务 TKE和EKS 为快速部署 GooseFS 提供了便捷易用的途径,用户只需要在应用市场上选择 GooseFS 应用,为对应集群快速创建并部署应用即可在 Fluid 上使用和部署 GooseFS Runtime 。

GooseFS 作为分布式文件系统,采用了 Master-Worker 架构,提供了高可用的存储服务。在分布式文件系统中,高可用性包含两个方面:一是整个文件系统的可用性,二是数据的完整和一致性

Master 作为全局元数据管理组件,通过 Master High-Availability 保证文件系统的高可用;通过 Raft 算法实现选主、状态机同步等操作保证日志和元数据的完整和一致性。

在 Fluid v0.6中,来自腾讯云的社区贡献者设计实现高可用运行时功能,用户只需要指定期望 master 个数,如果个数为大于1的奇数,将自动使用高可用模式。

腾讯云对象存储和容器团队为用户提供了丰富的文档支持,您可以参照文档快速入门并在容器平台上运行 GooseFS,运行您的大数据或者AI等数据密集型业务。

03

结语

数据湖加速器 GooseFS加速业务访问存储的性能。腾讯云容器服务为容器化的应用提供一系列完整功能,解决用户开发、测试及运维过程的环境一致性问题,提高了大规模容器集群管理的便捷性。减少集群的资源冗余情况,有效降低了大数据业务成本。

将来我们也会不忘初心,为您提供更安全的云服务!

0 人点赞