腾讯云深度归档让数据从磁带走向云端

2020-11-27 15:12:38 浏览数 (1)

在数字化转型浪潮中,如何存储和利用好数据,是企业面临的首要问题。相比于传统互联网全面拥抱云,产业互联网在数字化转型过程中,通常第一步是利用云存储来归档数据。

随着业务的增长,企业积攒了大量重要数据,一些数据在经过清洗和处理后,需要长期保存,以备将来进一步分析;一些数据则是出于行业监管和合规的要求,需要长期保存。典型的数据归档业务场景包括:

  • 金融交易:交易日志、票据影像、双录视频;
  • 视频监控:安防监控、交通监控、个人视频监控;
  • 生命科学:医疗影像数据、电子病例、基因测序数据;
  • 广告营销:电子商务日志、广告营销日志;
  • 娱乐游戏:短视频、社交数据、游戏日志;
  • 媒资视频:视频影像、在线课程视频;
  • 自动驾驶:视频采集、遥感监控、激光雷达;
  • 科研教育:天文观测、高能物理、海洋监控、油气勘探、地震预测。

谈到数据归档,就绕不过磁带库。

一、磁带库的问题和挑战

从第一款磁带机面世,磁带技术已经有50多年历史了。虽然磁带技术经过多轮演进,并在企业级数据归档存储市场上占有特殊地位,但是仍然面临很多问题和挑战:

  • 前期投入大,需要一次性投入购买磁带库,需要复杂的管理和运维工作;
  • 磁带长期保存需要特殊的物理环境条件,一旦受潮,磁带会退化或者霉变,即使看起来完好无损,数据也可能无法恢复,数据丢失的风险非常高;
  • 虽然磁带具备比较长的寿命,为了保证数据可靠性,需要定期进行数据迁移,这是一项耗时费力的任务;
  • 数据恢复时间长,对于离线保持的磁带,需要人工参与恢复流程;

公有云发展到今天,云存储产品通过不断的创新,在保证安全、可靠的基础上,存储成本得到持续降低。对比传统磁带库归档方案,客户有了更具性价比的选择。

二、腾讯云深度归档介绍

腾讯云近期发布了深度归档存储,一款新的对象存储COS类型,可以提供低成本、安全持久的数据存储服务。相比于低频存储和归档存储,其价格更低,适用于存储访问频率极低(如半年一次)但需要持久存储的数据,如日志审计数据,安防监控数据等。其安全性、持久性、低价格等特性,能最大程度的满足冷数据存储的诉求。

深度归档存储在软件架构、硬件设备、任务管理系统上都进行了全新升级,通过全新的架构最大程度的提升设备的利用率,为用户降低存储成本。深度归档存储费用仅为0.01元/GB/月,对比磁带归档,总体TCO下降20%

深度归档提供两种数据恢复选项:

  • 标准模式:数据可以在12小时内完成恢复;
  • 批量模式:恢复成本低,数据可以在48小时内完成恢复;

对比传统磁带库,云上归档提供了更简单、更快速的数据恢复服务。

同时,深度归档存储具备99.999999999%(11个9)的数据持久性,比传统磁带库提供更高的可靠性。

三、云上归档解决方案

  • 结合商业备份软件服务

当前,主流商业备份软件都完成了与腾讯云对象存储COS的对接认证,客户可以根据归档数据的保存时长、访问频率、恢复时间等条件,选择合适的对象存储COS类型作为归档介质库。

在不改变现有归档业务流程的情况下,通过备份软件上创建对象存储COS归档介质库,并配置访问Bucket相应的权限认证信息,就可以将数据直接归档上云。

架构上,备份软件通常由备份管理服务器、备份服务器和备份客户端构成。备份服务器直接访问对象存储COS,支持类型包括标准存储、低频存储、归档存储和深度归档存储。

备份服务器将数据压缩、去重后,可以直接写入深度归档存储,或者先写入标准存储后,通过生命周期管理自动沉降到深度归档存储。例如,7天以内的数据保存在标准存储,便于随时恢复数据;7 ~ 30天的数据沉降到低频存储,作为温数据以备突发访问;超过30天后,沉降到深度归档,进行长期归档存储。

云上归档解决方案提供端到端的加密服务,确保数据安全。默认情况下,数据通过HTTPS协议加密传输上云,保证数据传输过程中的安全。通过备份软件自身的加密功能,或者对象存储COS的加密服务,数据加密后存储,保证数据存储过程中的安全。

  • 通过文件存储网关归档

如果备份软件还不兼容对象存储COS,可以借助CSG文件存储网关,通过备份软件创建NAS归档介质库,间接归档数据到云上深度归档存储。

文件存储网关(Cloud Storage Gateway,CSG)是一种混合云存储服务,CSG 使用标准文件共享协议访问位于对象存储 COS 中的数据,无缝接入公有云,实现数据的上云。可以根据业务需求灵活地部署在云上或者本地,轻松地进行数据的上云、归档以及灾难恢复。

CSG会缓存热数据来保证本地访问性能,同时会将全量数据保存至 COS 中以确保数据的安全持久性。CSG 能够根据时段分配调度上传下载的带宽,在带宽资源紧张时,可以限制网关占用的带宽,以免影响自有业务;而在业务空闲时则可放开限制,充分利用带宽资源。 

数据上云后,同样借助COS生命周期管理功能,完成数据沉降到深度归档,进行长期归档存储。

  • 离线数据搬迁上云

如果本地数据中心还没有拉通专线,或者存量归档数据规模比较大,可以通过云数据迁移服务CDM专用设备,进行大规模离线迁移数据上云,从而获得深度归档带来的好处。

云数据迁移(Cloud Data Migration,CDM)是腾讯云提供的 TB~PB 级别的数据迁移上云服务。提供安全可靠的离线迁移专用设备,解决本地数据中心通过网络传输时间长、成本高的问题。

CDM 迁移设备使用标准的电源,支持 ext4、NFS、CIFS、HDFS 等多种文件系统,用户无需担心数据中心环境兼容问题。

采用256位加密密钥对数据进行自动加密,保证第三方无法从磁盘获取文件信息。迁移完成后,对设备上的数据进行彻底擦除,确保数据不会被泄露读取。

四、云上归档的主要优势

  • 更高的可靠性

深度归档对象存储提供数据跨多数据中心、多设备冗余存储,为用户数据提供异地归档容灾服务,实现高达99.999999999%(11个9)的数据持久性,数据的耐久性远高于磁带库。

  • 端到端的加密保障数据安全

对于数据的存储,对象存储服务端加密可以对存储的数据进行加密,保证用户的隐私,用户访问时会自动解密。对于数据的传输,对象存储提供用 HTTPS 部署 SSL 证书实现加密的功能,在传输链路层上建立加密层,确保数据在传输过程中不会被窃取及篡改。

  • 成本低、免运维

使用深度归档存储,您无需采购硬件、部署和运维,避免前期高额投入,节省了运维工作和托管成本。对象存储支持按需按量使用,您无需预先支付任何预留存储空间的费用,对比磁带库总体TCO降低20%。

  • 数据恢复时间短

整个数据恢复流程完全自动化,无需人工参与。采用标准恢复模式下,数据可以在12小时内完成恢复。

  • 支持跨区域数据复制功能

通过配置对象存储跨地域复制规则,可以在异地区域的存储桶中自动、异步地复制数据,满足行业对归档数据跨地域保存的合规性要求。

  • 兼容性主流备份软件

目前,支持对象存储COS的主流商业备份软件厂商包括:Commvault、Veritas、Veeam、爱数、鼎甲、云信达、木浪云、科力锐等。后续会有更多的厂商完成对接和认证。

五、写在最后

数字化转型为企业业务的快速增长提供原动力,数据作为企业核心资产,需要高可靠、低成本的归档方案。随着腾讯云COS深度归档的发布,结合商业备份软件、云存储网关、离线迁移工具,腾讯云为企业的核心数据资产提供了高性价比的归档解决方案,助力企业数字化转型。

0 人点赞