上篇文章中讲到《程序员如何快速将海量本地数据迁移至腾讯云对象存储COS》,在文章中主要需要用到的迁移方式有2种,此篇文章会主要讲解 云数据迁移 CDM 的具体参数设置及详细说明,以便于大家更好的理解操作。
产品概述
云数据迁移(Cloud Data Migration,简称 CDM)是腾讯云提供的 TB - PB 级别的数据迁移上云服务。CDM 使用专用迁移设备将数据从您的数据中心快速高效地迁移上云,并且采用 RAID 、加密等多种方式对迁移过程的数据进行安全保障, 最大程度降低数据损坏和泄露的风险。
腾讯云 CDM 的使用方式:
首先,您需要在 CDM 控制台创建并提交一个迁移任务,然后腾讯云会将专用迁移设备邮寄给您。
当您收到设备之后,需要将其加入到您的本地网络环境中,与您的数据中心建立连接。接通后您就可以进行数据拷贝操作,在拷贝数据的过程中,迁移设备会对数据进行自动加密和校验。
当您拷贝完所有的数据,只需在控制台上对当前任务提交回寄申请,腾讯云会负责把设备回收并将您的数据上传云端。在整个迁移过程中,您都可以随时在 CDM 控制台跟踪查看任务状态。
设备详情
云数据迁移 CDM 提供两款容量的设备供您选择,分别是30TB容量的M30型设备、和80TB容量的L80型设备,关于迁移设备的规格参数如下:
迁移设备 | 可用容量 | 支持接口 | 设备尺寸 | 电源 | 功耗 |
---|---|---|---|---|---|
M30 | 30 TB | 1 个 USB 3.0 接口 | 28 cm x 16 cm x 22 cm | 220 V | 150 W |
L80 | 80 TB | 2 个 10Gbps 以太网电口 | 48 cm x 92 cm x 9 cm | 220 V | 220 W |
如何操作迁移设备 CDM-L80
主要面向客户指导如何操作迁移设备 CDM-L80,帮助用户完成数据拷贝。
云数据迁移设备 CDM-L80 是一款专用于线下数据迁移的服务器设备。该设备配有80TB的存储容量和2个10Gbps传输带宽的以太网电口,可以将本地存储环境的数据拷贝至 CDM-L80,通过线下搬迁的方式解决大规模数据迁移上云的需求。
CDM-L80 操作详情说明
拓扑连接
- CDM-L80:寄给客户的专用数据迁移设备,单台容量 80TB 。
- 交换机:客户提供用于连接外部设备(例如 CDM-L80)的交换机 。
- 存储挂载点:能够连接客户本地数据存储环境的设备。
CDM-L80 逻辑结构
迁移服务器均已完成初始化配置,通过对 CDM-L80 设备进行初始化,可以将其逻辑结构划分成4个部分,如图所示:
- 顶层为 NFS 服务,主要面向客户提供 NFS 服务,便于客户访问 CDM-L80 上的文件系统。
- 中间层为数据保护层,对拷贝的数据自动进行加密处理,保证从磁盘不能获取文件信息,即使磁盘遗失,也能保障安全。同时,通过配置磁盘阵列 RAID,保证数据一致性和完整性,确保运输过程中可承受部分硬盘损坏。
- 底层为物理层,存储迁移数据。
原理说明
客户收到 CDM-L80 设备之后,需要将 CDM-L80 中的共享目录 /dataseal
挂载到本地,方可执行数据拷贝。(建议每个 Bucket 单独成为一个文件夹目录,并且该目录以 Bucket 名称命名)
CDM-L80 操作步骤
1. 连接网线并开机
按照 设备连接拓扑图示,利用网线连接 CDM-L80,然后开机启动。
2. 配置 IP
2.1 登录
将迁移服务器连上显示器和键盘,利用迁移账号登录到系统,用户名为 admin,密码为 Move@cdm2018
2.2 切换用户目录
执行命令 cd
切换到 admin 对应的用户目录下(/home/admin
),执行命令为:
/home/admin
2.3 运行 IP 重置脚本 ip-conf.sh
执行命令为:
代码语言:javascript复制./ip-conf.sh
截图如下:
2.4 填写 IP 等信息并保存
执行过程中会弹出 vi 编辑窗口,按照提示填写 IP 地址,网关和掩码信息,填写完毕之后保存。
注意: 最多只能填写两个有效的 IP 地址,中间用空格隔开,若填写一个 IP 地址,则只会配置一个网卡(默认网卡 eth0)。
2.5 重启主机完成配置
等待脚本执行完毕,然后通过电源键关机重启机器,IP 地址会自动重置生效。
3. 挂载目录
此时,迁移服务器已接入到您的网络环境中,在迁移数据之前,需要将迁移服务器 CDM-L80 中 NFS 服务的共享目录(/dataseal)挂载到本地目录,在存储挂载点执行挂载命令, 命令格式为:
代码语言:javascript复制mount -t nfs <nfs服务器IP>:/dataseal 本地挂载点目录
建议将迁移服务的共享目录 /dataseal 通过两个网络接口挂载到不同挂载点,这样可以通过并行拷贝的方式加速迁移速度。
例如,编号为 ABC123 的迁移设备对应的 IP 地址是 192.168.1.100,192.168.1.101,将迁移服务器的 NFS 共享目录/dataseal 挂载到存储挂载点上的 /mydata100 和 /mydata101 目录下,挂载点需依次执行命令:
代码语言:javascript复制mount -t nfs 192.168.1.100:/dataseal /mydata100
和
代码语言:javascript复制mount -t nfs 192.168.1.101:/dataseal /mydata101
4. 拷贝数据
利用相关拷贝指令拷贝数据到本地挂载点目录(如上例中 /mydata100,/mydata101 目录),推荐使用可续传校验的拷贝工具,如 rsync 等。 以 rsync 为例说明如何将数据拷贝到 CDM:
代码语言:javascript复制//假设用户数据存放于本地文件夹/data 下
rsync -avh --progress /data/ /mydata100/
/* 参数注明
-a:传输文件夹
-v:详细模式输出
-h:输出文件大小使用易读的单位(如,K,M等)
--progress:显示迁移进度
*/
5. 关机并回寄
通过设备上的电源键关闭设备,拆除网线,然后联系相关工作人员发起回寄申请。