就当前而言,移动PB级的数据对企业来说仍然是一件难事,可以按照以下步骤来操作,尽量减少风险和成本,并最大程度地提高灵活性。
接受云部署的企业需要具有成本效益和实用性的将企业数据迁移到云端的方法。鉴于将大规模企业数据集无间断地和准确地移动到任何地方,这将面临很大的挑战,其任务可能是一个漫长,复杂,危险的过程。
并不是每个组织都有足够的专用带宽来传输数PB的数据,而不会导致核心业务的性能下降,也并不具有足够的备用硬件迁移到云端。在某些情况下,处于物理隔离位置的组织或不具有成本效益的高速互联网连接的组织面临着进入目标云的障碍。数据必须被保护和备份,并且需要在生产环境中进行迁移而不遗漏任何一个环节。
2016年秋季,AWS公司通过Snowball(一种使用AWS提供的一台或多台设备的PB级数据传输服务)和Snowmobile(一款使用18轮卡车进行数据传输的EB规模的运输服务)进行了品牌推广。这些车辆可以轻松地为驻留在AWS云端实施数据购买和部署迁移服务。使用专用的100Mbps连接迁移100TB的数据需要120天。使用多个Snowball进行同样的迁移将只需要大约一个星期的时间。
然而,对于尚未使用AWS云计算服务的55%的公共云市场,或者那些具有私有云,混合云或多云部署需要更多灵活性的企业来说,其他云迁移选项可能比AWS的产品更具吸引力。迁移生产数据时尤其如此,其中将静态数据上传到设备上,在迁移过程中将部分副本复制给IT团队。他们需要一种重新同步数据的方法。
以下是云数据迁移最佳实践的指南,这取决于企业数据是否是静态的,因此资源是离线的或正在产生的。以下还将提供有助于与新数据中心资源集成,以及适应混合或多云体系结构的有用提示。
静态数据
除非数据量低于1TB,否则将需要利用物理介质(如设备)来加速文件,块或对象存储的迁移过程。这样数据在不需要连续在线的环境中,或者传输需要使用缓慢,不可靠或昂贵的互联网连接中可以很好地运行。
(1)将静态数据复制到本地迁移设备。使用一个小型便携式,易于运输的NAS设备,在RAID期间配置RAID,以保证站点之间的持久性。设备应包括加密 - 128位AES,或优选256位AES,以防止在NAS离开客户端设施后未经授权的访问。
使用非常快的10G网络连接,团队可以将每秒100MB到200MB的数据上传到NAS设备上。设备应支持目标环境(Windows,Linux等)和文件访问机制(NFS,CIFS,光纤通道等)。一个设备通常足以传输高达30TB的数据。对于较大的数据量,团队可以使用多个设备或重复该过程多次以逻辑块或段移动数据。
(2)将设备运送到云端环境。运送目的地可能是目标云或云数据中心本身附近的协同设施。无论目标是公共云还是混合云/多云设置,还有两个考虑因素将平滑迁移和容易迁移区分开来。
(3)将数据复制到云中的存储目标。存储目标应通过高速光纤使用V**访问连接到AWS,Azure,Google或其他目标云基础架构。
例如,在诉讼期间,律师事务所常常需要从客户端发送所有电子邮件以进行电子发现。通常,电子邮件捕获从几个月或几年前跨越一个静态的,定义的日期范围。律师事务所将其云计算供应商向当事人的数据中心安装设备,指示他们根据需要复制所有电子邮件,然后将设备运送到云计算供应商进行处理。
虽然一些供应商需要购买该设备,但其他供应商允许在迁移过程中一次性使用该设备,之后退还设备,IT团队将以每TB计费。不需要资本支出或长期承诺。
生立数据
一旦数据移动到云端,此过程需要一些移动数据并重新同步的方法。其镜像代表了迁移生产数据的答案。
使用镜像的云迁移需要两个本地的内部部署设备,它们能够跟踪生产环境的增量变化,同时将数据移动到新的云端目标。
(1)生产数据被镜像到第一个设备,创建数据集的在线副本。然后从第一个镜像创建第二个镜像,创建第二个在线副本。
(2)如果第二个镜像是“损坏”的,需要将设备运送到云端环境。
(3)然后在本地复制和远程副本之间重新连接镜像,并重新建立数据同步。
(4)数据的在线副本现在在云中,服务器可以故障转移到云端。
例如,美国的一个机构有2PB的内部部署数据,它希望部署在私有云中。该机构的IT团队在一个数据中心内建立了彼此相邻的两个本地存储资源,将数据移动到一个镜像上,然后设置了第二个镜像,以便复制所有内容。然后,团队将整个机架运送到数千英里外的第二个数据中心,其云计算供应商(Zadara Storage)重新建立了镜像。
当重新连接时,数据被同步以表示完整的最新镜像副本。一旦该过程完成,在数据迁移过程中使用的硬件被发送到远程位置,作为第二个灾难恢复副本。
在另一个例子中,全球管理咨询公司使用10G链接将规模较小的数据从数据中心移动到目标存储云,以及迁移设备来移动PB数据。一旦10G链接数据上传被复制到存储资源,云迁移提供商使用AWS平台直接连接到AWS。这样就可以将资源从公共云中分离出来,而且随时可用。其他静态数据被复制到NAS设备上并运送到可用于AWS云的位置。
易于集成的特性
无论目标是公共云还是混合云或多云设置,三个其他因素区分了更加困难和持久的迁移。
•保存格式。当数据迁移过程保留所需的数据格式时,理想的情况是,IT团队可以将数据复制到云计算中并立即使用它,而不是将复制的数据转换为本地使用的本机格式,但在云中本身是不可访问的。IT经理需要立即获取数据,而无需创建卷来访问的额外步骤。对于迁移数TB的数据,延迟几个小时可能不是很大的事情,但是在数据达到PB级的情况下,其延迟可能会变得难以忍受。
•支持企业格式。传统的存储设备格式(如CIFS和NFS)或者由公共云提供商支持,或者根本不支持。然而,在移动到云端时,这些文件系统的应用通常会在管理时间和费用方面节省最多的费用。有能力复制CIFS,NFS或其他传统文件类型并保留在云中使用的相同格式可以节省时间,防止出现潜在错误和转换麻烦,并有助于确保迁移时间。
•有效出口。没有供应商希望看到客户退出云端,但是当需求发生变化时,双向数据迁移或导出云数据可以在其他地方使用,需要通过与上述相同的静态和生产方法有效地进行。
混合云或多云支持
任何云迁移的最终考虑都是确保播种才能持续下去。85%的企业采用多云战略,20%的企业计划使用多个公共云,IT团队正在修改混合云或多云功能的架构。没有任何一家企业希望被锁定到任何一家云提供商,无法逃避不可避免的中断或中断的影响。
允许云平台间进行异步复制的云计算方法使IT团队能够优化云基础架构以实现性能和成本。组织可以将特定工作负载迁移到一个云平台或另一个云平台(例如,Azure上的Windows应用程序,AWS上的开放源代码),或将其移动到可以利用给定要求的最佳谈判价格和条款的位置。在一个提供商发生中断的情况下,可以并发访问其他云计算的云迁移方法还可以实现云端之间的即时传输和几乎即时的故障切换。
专家称2017年为数据“大迁移”的一年。思科和451 Research公司进行的预测显示,到2020年,所有数据中心流量中有83%和企业工作量的60%将以云计算为基础。 新的数据迁移选项使IT团队能够以最小化风险,成本和麻烦的方式“分解”云端,并最大程度地提高敏捷性。