怎么将数据迁移到对象存储OSS?

2020-06-24 14:41:50 浏览数 (1)

  用户希望将历史数据迁移到OSS上的用户目标存储桶。需要迁移的源数据可能来自某个OSS桶,也可能来自本地或第三方云存储(例如腾讯云COS)。等等,HTTP等。

  主要方法

  在线迁移服务

  使用联机迁移服务进行迁移。各种数据源的数据,批量迁移到OSS。迁移期间无需设置迁移环境。您可以在线提交迁移任务并随时监控迁移过程。请参阅在线迁移服务文档。

OssImport

  使用Ossimport工具进行迁移。有关各种数据源的历史数据,批量迁移到OSS,请参阅OssImport文档。

  镜像回源

  适用于客户源站,可将数据无缝迁移到OSS。也就是说,该服务已在其自身或其他云产品上建立的源站上运行,并且需要迁移到OSS,但该服务无法停止。在这种情况下,可以实现图像后向源功能。在Ossimport完成历史数据迁移后,新生成的数据迁移过程请参考镜像反向源并无缝迁移到OSS。

OSS跨区域复制

  适用于同一帐户,将数据从OSS Bucket A复制到Bucket B,请参考设置跨区域复制。使用时,请注意设置“​​同步历史数据”。此外,如果您不想同步Bucket的删除操作,可以将同步策略设置为“write sync”。

  闪电立方

  适用于离线数据中心的大规模数据迁移,支持TB到PB级别的大规模数据。具体参考官方网站产品介绍闪电立方体。

OSS API或SDK

  使用OSS API或SDK编写代码实现,适用于具有强大开发功能的客户,请参阅复制对象,上传零件副本。

  场景1:将非OSS上的数据迁移到OSS

  在此方案中,目标是OSS上的存储桶,源数据不存储在OSS上,例如本地,HTTP,第三方云存储(例如AWS S3,Azure Blob等)。

  每种方法的选择如下:

  在线迁移服务

  它适用于将各种大小的第三方源数据迁移到OSS。

OssImport

  适用于将历史数据批量迁移到OSS,特别适用于大数据量。当数据量很大时,请使用ossimport的分布式版本。

  镜像回源

  适用于源站新的热门数据在线迁移到OSS,例如您对数据热迁移,特定请求重定向等的需求。

  闪电立方

  适用于本地数据中心的用户,TB到PB级别的大规模数据

OSS API/SDK复制对象,上传零件副本

  适用于功能要求,使用OSS API/SDK编写代码来上传OSS。

  场景2:OSS之间的数据迁移

  此场景是指将OSS源桶数据迁移到OSS目标桶。迁移的数据源和迁移目标都是OSS存储桶。

  每种方法的选择如下:

  在线迁移服务

  适用于各种规模的数据迁移方案。

  说明:不适用于归档类型的文件迁移。

OSS跨区域复制

  源桶和目标桶属于同一用户,属于不同的区域。

  源存储桶和目标存储桶存储类型不是存档类型:

  说明:如果要在迁移源存储桶历史数据后迁移(复制到)目标存储桶,则源存储桶更改(添加,更新,删除)将不再与目标存储桶同步。您可以在控制台中关闭源存储桶的跨区域副本。

OssImport

  它更适用于具有大数据量(例如大于10TB)的历史数据迁移方案。

OSS API/SDK复制对象,上传零件副本

  建议首先使用ossImport或跨区域复制,除非用户具有更多粒度或功能要求并具有某些开发功能。

  其他

  如果问题仍未解决,请联系售后技术支持。更多对象存储OSS方面的知识可以关注赵一八笔记。

0 人点赞