在当今数字化时代,企业越来越依赖于云计算来存储和管理其数据。随着业务扩展和数据量的增加,企业经常需要将数据从一个云平台迁移到另一个平台。为了确保数据迁移的顺利进行,制定一个战略计划至关重要。
云服务器数据迁移的类型
在制定战略计划之前,了解不同类型的云服务器数据迁移非常重要:同区域迁移:在同一云平台内将数据从一个区域迁移到另一个区域。跨区域迁移:在不同的云平台之间将数据从一个区域迁移到另一个区域。混合云迁移:将数据从本地数据中心迁移到云平台,或从云平台迁移回本地。
制定云服务器数据迁移战略计划的步骤
制定云服务器数据迁移战略计划应包括以下步骤:
1. 评估业务需求
评估业务对数据迁移的需求。考虑迁移原因、期望的结果以及迁移将如何影响业务运营。
2. 选择目标平台
接下来,选择目标云平台。考虑平台的功能、成本、安全性和可靠性。
3. 确定迁移范围
确定要迁移的数据的范围。根据业务需求和优先级,选择需要迁移的数据集。
4. 创建数据迁移计划
制定一个包含以下详细信息的数据迁移计划:迁移时间表:设定迁移的开始和结束日期。迁移方法:选择数据传输方法(例如,增量迁移或全量迁移)。资源分配:确定所需的 IT 资源和人员。风险管理计划:识别潜在风险并制定缓解计划。
5. 测试和验证
在迁移之前,进行全面的测试和验证。测试数据完整性、准确性和安全性。
6. 执行迁移
根据计划执行数据迁移。监测进度并根据需要进行调整。
7. 后续监测和维护
迁移后,监测数据迁移指标并进行必要的维护。确保数据安全、可访问且符合法规要求。
最佳实践
实施云服务器数据迁移战略计划时,请遵循以下最佳实践:计划并准备:仔细规划并准备迁移过程至关重要。分阶段迁移:分阶段迁移大型数据集,以降低风险并简化管理。选择合适的工具:使用数据迁移工具来简化和自动化过程。保持安全:实施安全措施以保护数据在迁移期间的安全。持续监测:定期监测数据迁移进程,以确保顺利进行。
结论
云服务器数据迁移是一项复杂的任务,需要仔细规划和执行。通过制定一个战略计划并遵循最佳实践,企业可以确保数据迁移的顺利进行,从而最大限度地降低风险并实现业务目标。
运维必看:低成本数据异地灾备方案(二)
针对Windows服务器的数据异地灾备,本期将继续提供低成本且灵活的解决方案,以满足不同场景的需求。
部署实施
首先,选择开通公有云服务器,这种云计算服务以高效率和弹性著称,能有效降低运维成本,同时提供多种磁盘类型供选择,以适应不同读写需求和高数据可用性。
例如,选择一款云服务器,其底层磁盘设计有数据冗余,确保在物理损坏时自动修复,即使发生故障也能快速在不同区域进行迁移,保证服务不间断。
为了保证数据安全,建议进行如下步骤:配置云服务器的环境,确保其与Windows服务器的兼容性。
然后,制定备份策略,登录Windows服务器并通过FTP进行数据传输,定期进行备份操作。
监控与查看
在实施备份策略后,定期检查数据备份情况,以确保灾备措施的有效性。
通过监控工具,你可以实时了解备份进度和数据一致性。
总结
在过去的两期中,我们分享了针对Linux和Windows服务器的低成本异地数据灾备方案。
这个方案经济高效,适应性强,特别适合有数据备份需求的企业和个人。
希望这些信息能帮助你更好地保护你的数据安全。
云服务器与云服务器该怎么迁移数据?
在支持京东集团内部及京东云外部客户的业务迁移到京东公有云及京东私有云、京东政务云的过程中,京东科技-京东云事业群-技术服务组积累了相关业务系统数据迁移的一些管理和技术经验,以案例的形式分享给大家,希望对大家的业务迁移工作有所帮助。
业务迁移上云涉及到的业务数据种类繁多,主要类型包括: 数据库: 关系型数据库 MySQL 、PG、Oracle等 对象存储: 标准S3接口对象存储迁移中间件数据:ES、mongoDB、redis等 文件存储:文档、图片等非结构化数据 大数据:HBASE、HDFS files等。
在上云过程中,大部分业务均涉及到以上多种数据类型,基于相关迁移的案例所积累的经验,数据迁移需要在迁移启动前至少做好如下准备工作。
数据迁移技术方案制定完成,包含明确的迁移操作步骤、执行人、确认人。
制定迁移应急预案及回切方案,明确责任矩阵,确认异常情况的决策条件及决策人。
确认数据安全等级,确认数据迁移的方案合规安全,通过相关业务安全部门审核。
迁移时长及割接数据同步窗口的评估,确认各个业务及数据迁移可选的第二方案。
确认网络带宽及质量满足迁移需求。
下面是几个案例,涉及到了不同数据迁移的场景。
关系型数据库迁移:MySQL 数据迁移工具DTS服务在传输及同步、数据校验等步骤实现了一定的抽象化,具有相对友好的交互界面,同时可以实现多个任务并行进行,对要求平滑迁移的场景,具有自动化优势,节省大量人力,但需要满足源端数据库与目标端数据库与DTS管理服务IP网络互通,并具备稳定的网络连接。
mysqldump工具适合于网络连接不佳或需要一定业务中断时间的场景,本地操作速度快,但需要考虑数据文件的传输时间。
DTS与mysqldump工具都有各自的限制条件,需要仔细阅读产品说明,并通过POC验证功能。
案例一:从友商公有云迁移到京东云公有云,由于源端binlog问题导致DTS任务失败,最终通过mysqldump模式导出文件,本地导出速度很快,压缩后的数据库导出文件体积缩小,减少了网络传输耗时。
通过网络传输到京东云侧的云主机,然后source方式导入RDS,整个过程耗时小于2小时。
导入MySQL数据后,使用checksum_table工具对源端和目的端数据库做对比,发现部分表不一致,与业务方确认为源端在迁移开始后,停止服务不彻底导致,仍然有数据写入操作,后经业务及研发检查新增数据,对部分数据做清理后,完成数据库的迁移工作。
厂商改良(非原生)的数据库的迁移:在某些云厂商的特定数据库版本中,会对标准的数据库产品如mariaDB、PG等数据库做一些定制化的开发,以满足客户的业务的某些特殊需求,这种数据库属于厂家深度绑定的类型,在做业务迁移或灾备数据同步的时候,根据时间场景做定制化的迁移及同步方案,大部分需要从研发层面做一些定制化的配置和操作。
案例二:某金融用户,原系统运行于T的金融云,使用了定制化的RDS服务,因金融行业的业务及数据灾备规范,需要做异地容灾,将灾备系统运行于京东金融云平台。
为实现从T云定制化的TDSQL到京东云的迁移,对源端的数据库做了详细调研,因为源端是定制化的、具有自动水平拆分、Shared Nothing 架构的分布式数据库,因此使用京东云的DTS工具不适用于这个场景,同时,在两个环境,要求数据基本为实时同步才能满足业务容灾的需求。
制定方案时,考虑了传统灾备厂商的方案,但因传统厂商灾备方案多以主机级别数据及IO分析或日志分析为基础,无法适应云上RDS的场景,最终方案采取了基于gtid的主从复制的方案来实现数据库的异构云同步。
案例三:客户业务从友商云迁移到京东云,源端ES为K8S集群自建服务,服务访问方式为nodeport方式,选择迁移技术方案时,考虑了源端自建的ES未安装S3插件,因此采取reindex方式来做业务数据的迁移。
为实现从京东云侧对ES的数据拉取,在源端配置了一个nginx反向代理,实现了通过公网对内部ES接口的访问,同时配置白名单,限制访问IP为京东侧NAT网关出口的公网IP,确保数据的访问安全。
在京东云侧,临时调整路由表,配置明细路由,将源端公网IP配置到对应子网的路由表中,指向NAT网关,通过NAT网关可以拉取到源侧的ES数据,并在ES服务中对源端的公网IP做加白操作。
对象存储的迁移:对兼容S3协议的对象存储数据迁移,各个公有云厂商均有迁移工具或脚本,迁移技术难度不高。
但是,因为不同厂家的对象存储在不同region可能存在底层版本及配置差异,因此需要对迁移的数据做完整性和可用性校验。
在实际迁移中,需要根据项目实际的数据存储量、业务访问特性、业务停机窗口等信息,综合考虑迁移流程和选择技术方案。
Redis迁移:业务中Redis使用有两种场景,一种是仅作为缓存,不做数据持久化,这种业务场景,迁移后在新环境部署业务后直接调整业务指向新的redis实例即可。
一种是有数据持久化,这种业务在迁移到云上时,需要根据业务需求,做redis数据的迁移操作。
Redis有rdb(point-in-time snapshot)和aof两种持久化方案,其中rdb模式是二进制格式,类似于快照,恢复直接覆盖,aof保存的是命令(文本格式),类似于追加模式。
如果需要保留目标端的redis的数据,可以使用aof方式,但需要注意老版本Redis服务不兼容新版RDB格式。
数据备份的重要性:数据备份是在业务迁移的全生命周期怎么强调都不过分的环节,因数据备份不充分导致数据丢失、业务受损的教训很多。
在迁移实施过程中,因忽视数据备份而导致出现问题的事件仍然很常见。
问题可能来自客户,可能来自我们实施团队,也可能来自ISV或者其他可能操作数据的团队或个人。
在重要业务场景中,迁移前,需要对数据备份所需的存储空间做好评估并考虑备份空间的成本。
业务数据迁移总结:提前做好备份,有了备份数据,迁移过程的压力会减小,相对宽松的迁移氛围对迁移实施很有利。
迁移技术及工具的选择,需要根据业务性质选择并验证。
准备回退预案,做好POC验证,POC能发现部分问题,提前准备解决方案。
做好流程手册,明确操作责任人,联系相关部门做好迁移的切换阶段的护航准备。
产品和服务类的问题一定要能找到人支持。
明确责任矩阵、进行全面沟通,沟通能够发现技术层面很难发现的问题,越早建立迁移组织并形成有限的沟通机制,对迁移的顺利实施越有利。
致谢:本文写作过程中,京东科技-京东云RDS研发同事、京东科技-京东云对象存储研发同事、京东零售-企业业务事业群的研发同事提供了宝贵资料和建议。
向他们表示衷心地感谢。
数据迁移的四种方法
数据迁移的四种方法?
数据库迁移总体有四种方法
我们今天以mysql为例,讲讲数据库迁移的四种方法。
1、将数据库倒出为sql文件,再重新导入(推荐)。
首先将mysql数据库锁定,并将内存中的数据写入磁盘。
用mysqldump将test数据库导出为sql文件。
在新的数据库服务器上,新建test数据库,再将sql文件导入。
该方法因采用sql命令进行数据库迁移,兼容性最好,准确性最高,但速率最慢。
2、将数据库的文件存档目录直接拷贝至新主机。
可以直接将mysql存储数据的目录copy下来,用ftp等方式上传至新主机的对应存储数据的目录下。
该操作需要关闭两端的数据库服务,否则将产生错误。
该方法只支持myql的MyIASM的表引擎。
该方法迁移速度快,但因Mysql默认采用inno引擎,适用场景少,且数据库版本升级后出错率高。
3、使用第三方数据库迁移工具。
mysql有很多第三方的数据库迁移工具,如mysqlhotcopy。
此类工具一般支持热迁移(不中断业务,实时写数据),支持物理copy。
该方法迁移速度快,对业务中断时间短,但建议迁移多进行模拟测试,避免意外事件。
甚至有一些第三方的迁移工具支持异构数据库的迁移。
4、使用整盘迁移工具。
采用云主机的第三方迁移工具,将整个磁盘文件直接进行迁移。
该方法迁移速度快,对业务中断时间短,但成本高,一般为收费工具。