2021. 腾讯全球生态大会 | 分布式云存储板块内容回顾

2021-11-15 09:41:34 浏览数 (2)

上周由腾讯主办的2021腾讯全球生态大会已经完美落幕,大会为大家带来了科技界最重磅、最前沿的产品!

接下来让我们一起重温一下大会现场。

本次大会我们有幸邀请到了众多重磅嘉宾来给我们带来干货分享,由小编一一介绍给大家。

腾讯云计算产品研发副总监李德铠,和我们分享从中心到边缘、从公有到私有,算力无处不在。

英特尔嘉宾,为我们分享了《英特尔 XPU,全芯、全栈、全能》。

AMD 中国企业与商用事业部高级技术支持周俊杰,给我们带来了 AMD EPYC 树立数据中心全新标准。

NVIDIA 中国区 RTX/Omniverse 业务发展经理何展,跟我们聊了聊艺术与科技的交融 ,NVIDIA 专业图形可视化技术以及行业应用。

腾讯云存储产品经理吕纬瀚,带领我们进入数据的世界,让我们一起创造数据无限可能。纬瀚本次分享的主题是构建完善友好的腾讯云产品生态

首先给大家回顾一下腾讯云云存储为用户生态所做的努力。

公有云产品是区别于传统的 2B 业务,或者纯粹的 2C 业务,我们服务的客户是多种多样的,既有成 PB 规模的大客户,也有一些独立建站的普通开发者,但是无论哪种客户,他们都会面临同一个问题,即公有云产品的上手门槛太高了;对于大客户来说,我们可以通过专人进行技术支持,但同样会耗费大量的人力物力,而对于个人用户,我们是很难提供直接支持的。

基于这两点,我们上半年着重进行了开发者社区建设,让更多的客户问题能够在社区内闭环,一方面让客户问题拥有渠道去反馈和解决,另一方面也是减轻产品团队的售后压力,让他们有更多的精力去关注产品功能技术的开发迭代当中。

对于用户说,一个产品是否易用,使用体验是最为直接的一环。

我们今年根据各类客户的反馈,在控制台上面落地了百余项的体验优化,包括更为精细的功能使用指引逻辑,更加智能化的相关常见问题指导等等,进一步降低用户在使用过程中遇到问题的可能,也在遇到问题后能更快速的自行处理;

这里可以看到一些量化的数据,我们建立了包括但不限于技术交流群,开发者社区论坛,腾讯云平台的用户之声等等。

不光有横向的扩展,我们的存储架构也在不断地精进中,我们即将在国内的主要园区为用户带来标准化多AZ存储服务,从物理上拥有更优越的性能,也实现更为极致的存储可用性。

接下来是这次发布会的重头戏,给大家分享 COS 最新的一些生态产品。更完整的产品生态,对于提升客户的更深层次使用体验无疑是必不可少的。

首先要分享的是“数据湖”这个概念,想必大家对数据湖的概念已经不陌生了,由于腾讯云对象存储服务为用户提供了安全可靠、弹性稳定的低成本存储,如前面所说,高达12个9的数据持久型和99.995的服务可用性,近年来越来越多的用户选择使用腾讯云对象存储作为其众多业务的海量异构存储池。

尽管越来越多的客户开始选择对象存储,但作为异构存储池我们面临很多不可避免的挑战。因为异构存储池是存算分离,整个数据链路是拉长的,通讯延时,链路越长延时越高,我们作为 KV 存储,也就是说扁平化的存储没有传统的目录结构,所以我们在面对大数据操作的时候有性能瓶颈,遇到大数据的性能要求的时候,对于我们也是非常吃力。

为了解决这些难点,我们针对性的推出了对象存储三级加速器这种一站式的解决方案,其中包括湖仓数据加速器 GooseFS,AZ 加速器和元数据加速器三项产品。

GooseFS 是计算端的分布式读写缓存加速服务。利用计算集群的本地MEM/SSD/HDD 资源,通过智能缓存算法,把热数据从 COS 加载后,缓存在计算集群本地,为其上层大数据应用,例如Spark、Presto、Tensorflow、Hive 和 Flink 等,提供全局数据读写缓存服务。

COS 加速器是在各个可用区部署的高速缓存集群,在 AZ 端为热数据提供加速服务。高速缓存集群采用 SSD 作为数据盘,与计算集群之间通过高带宽网络链接,为数据应用访问 COS 对象存储提供 Tb 级别带宽资源,和毫秒级别的时延性能。

COS 元数据加速是 COS 对象存储的一个功能特性,主要是针对于大数据场景中元数据操作的加速,包括 Rename,List,Head 等。

COS 三级加速在功能上互相独立,又可以相互配合使用。根据业务的需求,可以选择不同的组合方式。

接下来跟大家分享的是 AVIF 图片压缩,AVIF 作为新一代的图片压缩格式,他在拥有更高清的画面,更准确的色彩的同时拥有更小的体积,进一步降低对带宽和流量资源的消耗,更适应当前以 UGC 为主流的内容分发场景。这里也可以看到一些性能指标,在理想状态下,AVIF 可以达到 99% 的压缩效率。

视频增强对视频进行综合分析与评估,借力 AI 技术提供细节增强、色彩增强、SDR to HDR 动态范围变换、超分辨率、降噪、修复等功能,从各维度提升视频画质。适用于升级老旧片源、画面美化增强。超分辨率通过识别图片的内容与轮廓高清重建图片的细节与局部特征,通过一系列低分辨率的图像来得到一幅高分辨率的图像,可与视频增强搭配使用升级老旧片源。

随着云生态的完善,出于成本和功能性的考量,越来越多的传统企业和小微企业也开始选择上云,但往往他们都会面临旧架构的改造的问题,改造的过程是烦杂且存在诸多的不可预期,所以如果能在不改变业务应用已有架构的前提下将数据基座从线下迁移到云上,将会是一个更好的选择。

针对这种场景,我们推出了存储网关这个产品,存储网关 CSG 提供两个方面的功能,一是可以将对象存储使用的 http 协议转为标准的 NFS 协议,客户基于文件协议的应用可以直接对接,其次是提供本地缓存,通过缓存在本地的热数据实现用户的 IO 加速以及存储分层,存储网关旨在更好的助力企业无缝上云。

基于 CSG 我们也推出了云上非线性编辑的解决方案,通过 CSG 解决繁琐的数据流动,素材通过 COS 原生的上传能力上传至云,而编辑机器则可以提供过 CSG 来直接对这些素材进行编辑,而完成编辑后,即可写会 CSG,CSG 则会将数据近乎实时的同步至 COS,以方便用户进一步的数据分发。

其次,为了我们的生态产品,不光推出软件化和公有云的服务,我们也推出了用户可以采用开箱即用的体验。大概六大类的机型,分别是对象存储一体机、并行文件系统一体机,统一存储一体机,备份一体机、网盘一体机,视频监控一体机。

通过上面的介绍,大家不难看出 IaaS 产品类似基础设施,提供最基本的最通用的能力,但是在长时间的对客户需求的分析下,我们发现很多客户都会利用 COS 作为企业网盘来使用,因为 COS 的简便的上传分发能力,高度精细化的权限控制以及冗错容灾都是企业网盘最需要的基础能力,所以我们更进一步,在 COS 的基础上推出了 CoFile 企业网盘,CoFile 完全继承了 COS 的能力,同时,相较也在易用性上做出了更大的提升,更贴近网盘用户的使用惯性以及操作逻辑。

安全性、可靠性、定制性、高效易用 作为 CoFile 的基础特性,这些能力的实现都是基于 COS,我们所做只是让 COS 以更易用的形式展示出来,所以我们对于 CoFile 的安全性,可用性都有非常的自信;

统一迁移平台,Grand Unified Migration Platform,我们想通过这个产品让云上线下,云间的迁移更简单,更系统,真正做到一站式,甚至一键式的无感迁移,敬请期待。

本次分布式云存储板块发布会与大家分享了诸多的产品动态,而这些我们所做的努力,归根结底就是为了让用户的体验更进一步,无论是从简单的交互体验层面,用户社群建设,还是底层生态产品的开发和基础能力的精进,我们所期望的始终是为客户带来全流程,全链路,最为易用的产品体验,让您能够轻松搭上这趟前往云端的高速列车。

— END —

0 人点赞