如何快速将第三方云存储数据迁移至腾讯云对象存储COS

迁移说明

原文发布于微信公众号：腾讯云存储（关注有惊喜）

对于使用第三方云平台存储的用户，对象存储 COS 支持以下两种迁移方式，帮助用户将第三方云平台的存储数据快速迁移至对象存储 COS。

迁移方式	交互形式	区分大小文件的阈值	迁移并发度	HTTPS 安全传输
迁移服务平台 MSP	可视化页面操作	采用默认设置	全局统一	开启
COS Migration	修改配置文件，非可视化操作。	可自定义调整	针对大文件小文件分别定义并发度	可选择是否开启，关闭有利于加快迁移速度。

迁移方法

一、迁移服务平台 MSP

迁移服务平台 MSP 是集成了多种迁移工具，并且提供可视化界面的平台，能够帮助用户轻松监控和管理大规模的数据迁移任务。

其中“文件迁移工具”能够帮助用户将数据从各类公有云或数据源站中迁移至对象存储 COS。

迁移操作步骤如下：

1. 登录控制台→迁移服务平台 MSP。

2. 单击左侧菜单栏中的【迁移工具】，找到“文件迁移工具”入口，并单击【立即使用】。

(点击查看大图，看的更清楚哟)

3. 新建迁移任务并配置任务信息。

(点击查看大图，看的更清楚哟)

4. 启动任务。

在新建迁移任务当中，可以看到支持的第三方云存储迁移平台有6个。

以下迁移教程，会在下篇中详解：

在进行数据迁移过程中，数据源的读取速度会因为不同的网络环境而有所不同，但客户根据实际状况在“新建文件迁移任务”时选择较高的 QPS 并发度，有助于提高迁移速度。

二、COS Migration

COS Migration 是一个集成了 COS 数据迁移功能的一体化工具。用户只需要通过简单的配置操作，便可将数据快速迁移至 COS 中。

迁移操作步骤如下：

1. 安装 Java 环境。

2. 安装 COS Migration 工具。

3. 修改配置文件。

4. 启动工具。

具体的操作方法，请点击查看 COS Migration 工具。

下面介绍如何配置 COS Migration 能最大程度提高迁移速度：

1. 根据自身网络环境调整区分大小文件的阈值和迁移并发度，实现大文件分块，小文件并发传输的最佳迁移方式。

调整工具执行时间和设立带宽限制，保证自身业务运行不受迁移数据带宽占用影响。上述调整可在配置文件 config.ini 中[common]分节，修改如下参数进行调整：

参数名称	参数说明
smallFileThreshold	小文件阈值参数，大于等于这个阈值使用分块上传，默认设置为5MB。
bigFileExecutorNum	大文件并发度，默认值为8。如果是通过外网来连接 COS，且带宽较小，请减小该并发度。
smallFileExecutorNum	小文件并发度，默认值为64。如果是通过外网来连接 COS，且带宽较小，请减小该并发度。
executeTimeWindow	该参数定义迁移工具每天执行的时间段，其他时间则会进入休眠状态，休眠状态暂停迁移并会保留迁移进度，直到下一个时间窗口自动继续执行。

2. 采用分布式并行传输可以进一步加快迁移速度。用户可以考虑使用多台机器安装 COS Migration 并分别执行不同源数据的迁移任务。

0 人点赞