上周举行的腾讯云知识分享,雁栖学堂第七期 GooseFS 数据湖存储数据成本管理能力篇已经圆满结束了。
腾讯云存储团队技术大牛林楠,主要探讨如何通过数据湖加速器 GooseFS,对象存储 COS 等服务搭建冷热分层的数据湖存储服务。数据湖加速器 GooseFS 可以为用户提供高性能的缓存存储服务,提供了 HDFS 生态亲和性,支持将海量分布式存储服务如对象存储 COS,云 HDFS 等作为远端存储。
数据是企业的核心资产,如何低成本利用好数据是企业面临的挑战,大数据是传统互联网客户的核心业务,是产业互联网数字化转型必由之路,公有云厂商都在加速布局。
整个内容分两个部分:
一、基于 GooseFS 和 COS 构建冷热分层的数据湖;
二、 COS 上的数据生命周期管理能力;
一、基于 GooseFS 和 COS 构建冷热分层的数据湖
如何才能做的既性能、又省钱、还要弹性的数据存储呢?接下来带着这个问题我们了解下GooseFS 的冷热分层架构:
接下来,我们看一下GooseFS 的冷热分层架构在TKE、EMR中的使用:
二、COS 上的数据生命周期管理能力
首先,我们看一下 COS 和 GooseFS 的成本结构:
接下来,我们一起了解下成本管理手段有哪些?本次分享主要通过选择合适存储类型跟缓存集群、性能测试、生命周期、文件压缩和计费平台来进行成本管理。这样就能满足既性能、又省钱、还要弹性的数据存储服务。
以上是林楠老师分享内容的简要概括,观看更多视频请点击链接。