如何将本地数迁移至腾讯云之二 - 云数据迁移篇

2019-12-06 10:59:28 浏览数 (1)

上篇文章中讲到《程序员如何快速将海量本地数据迁移至腾讯云对象存储COS》,在文章中主要需要用到的迁移方式有2种,此篇文章会主要讲解 云数据迁移 CDM 的具体参数设置及详细说明,以便于大家更好的理解操作。

产品概述

云数据迁移(Cloud Data Migration,简称 CDM)是腾讯云提供的 TB - PB 级别的数据迁移上云服务。CDM 使用专用迁移设备将数据从您的数据中心快速高效地迁移上云,并且采用 RAID 、加密等多种方式对迁移过程的数据进行安全保障, 最大程度降低数据损坏和泄露的风险。

腾讯云 CDM 的使用方式:

首先,您需要在 CDM 控制台创建并提交一个迁移任务,然后腾讯云会将专用迁移设备邮寄给您。

当您收到设备之后,需要将其加入到您的本地网络环境中,与您的数据中心建立连接。接通后您就可以进行数据拷贝操作,在拷贝数据的过程中,迁移设备会对数据进行自动加密和校验。

当您拷贝完所有的数据,只需在控制台上对当前任务提交回寄申请,腾讯云会负责把设备回收并将您的数据上传云端。在整个迁移过程中,您都可以随时在 CDM 控制台跟踪查看任务状态。

设备详情

云数据迁移 CDM 提供两款容量的设备供您选择,分别是30TB容量的M30型设备、和80TB容量的L80型设备,关于迁移设备的规格参数如下:

迁移设备

可用容量

支持接口

设备尺寸

电源

功耗

M30

30 TB

1 个 USB 3.0 接口

28 cm x 16 cm x 22 cm

220 V

150 W

L80

80 TB

2 个 10Gbps 以太网电口

48 cm x 92 cm x 9 cm

220 V

220 W

如何操作迁移设备 CDM-L80

主要面向客户指导如何操作迁移设备 CDM-L80,帮助用户完成数据拷贝。

云数据迁移设备 CDM-L80 是一款专用于线下数据迁移的服务器设备。该设备配有80TB的存储容量和2个10Gbps传输带宽的以太网电口,可以将本地存储环境的数据拷贝至 CDM-L80,通过线下搬迁的方式解决大规模数据迁移上云的需求。

CDM-L80 操作详情说明

拓扑连接

  • CDM-L80:寄给客户的专用数据迁移设备,单台容量 80TB 。
  • 交换机:客户提供用于连接外部设备(例如 CDM-L80)的交换机 。
  • 存储挂载点:能够连接客户本地数据存储环境的设备。

CDM-L80 逻辑结构

迁移服务器均已完成初始化配置,通过对 CDM-L80 设备进行初始化,可以将其逻辑结构划分成4个部分,如图所示:

  • 顶层为 NFS 服务,主要面向客户提供 NFS 服务,便于客户访问 CDM-L80 上的文件系统。
  • 中间层为数据保护层,对拷贝的数据自动进行加密处理,保证从磁盘不能获取文件信息,即使磁盘遗失,也能保障安全。同时,通过配置磁盘阵列 RAID,保证数据一致性和完整性,确保运输过程中可承受部分硬盘损坏。
  • 底层为物理层,存储迁移数据。

原理说明

客户收到 CDM-L80 设备之后,需要将 CDM-L80 中的共享目录 /dataseal 挂载到本地,方可执行数据拷贝。(建议每个 Bucket 单独成为一个文件夹目录,并且该目录以 Bucket 名称命名)

CDM-L80 操作步骤

1. 连接网线并开机

按照 设备连接拓扑图示,利用网线连接 CDM-L80,然后开机启动。

2. 配置 IP

2.1 登录

将迁移服务器连上显示器和键盘,利用迁移账号登录到系统,用户名为 admin,密码为 Move@cdm2018

2.2 切换用户目录

执行命令 cd 切换到 admin 对应的用户目录下(/home/admin),执行命令为:

代码语言:javascript复制
/home/admin
2.3 运行 IP 重置脚本 ip-conf.sh

执行命令为:

代码语言:javascript复制
./ip-conf.sh

截图如下:

2.4 填写 IP 等信息并保存

执行过程中会弹出 vi 编辑窗口,按照提示填写 IP 地址,网关和掩码信息,填写完毕之后保存。

注意: 最多只能填写两个有效的 IP 地址,中间用空格隔开,若填写一个 IP 地址,则只会配置一个网卡(默认网卡 eth0)。

2.5 重启主机完成配置

等待脚本执行完毕,然后通过电源键关机重启机器,IP 地址会自动重置生效。

3. 挂载目录

此时,迁移服务器已接入到您的网络环境中,在迁移数据之前,需要将迁移服务器 CDM-L80 中 NFS 服务的共享目录(/dataseal)挂载到本地目录,在存储挂载点执行挂载命令, 命令格式为:

代码语言:javascript复制
mount -t nfs <nfs服务器IP>:/dataseal 本地挂载点目录

建议将迁移服务的共享目录 /dataseal 通过两个网络接口挂载到不同挂载点,这样可以通过并行拷贝的方式加速迁移速度。

例如,编号为 ABC123 的迁移设备对应的 IP 地址是 192.168.1.100,192.168.1.101,将迁移服务器的 NFS 共享目录/dataseal 挂载到存储挂载点上的 /mydata100 和 /mydata101 目录下,挂载点需依次执行命令:

代码语言:javascript复制
mount -t nfs 192.168.1.100:/dataseal /mydata100

代码语言:javascript复制
mount -t nfs 192.168.1.101:/dataseal /mydata101

4. 拷贝数据

利用相关拷贝指令拷贝数据到本地挂载点目录(如上例中 /mydata100,/mydata101 目录),推荐使用可续传校验的拷贝工具,如 rsync 等。 以 rsync 为例说明如何将数据拷贝到 CDM:

代码语言:javascript复制
//假设用户数据存放于本地文件夹/data 下
rsync -avh --progress /data/ /mydata100/

/* 参数注明
-a:传输文件夹
-v:详细模式输出
-h:输出文件大小使用易读的单位(如,K,M等)
--progress:显示迁移进度
*/

5. 关机并回寄

通过设备上的电源键关闭设备,拆除网线,然后联系相关工作人员发起回寄申请。

原文发布于微信公众号:腾讯云存储(关注有惊喜)原文发布于微信公众号:腾讯云存储(关注有惊喜)

0 人点赞