随着越来越多的企业转向云计算,云服务器数据迁移变得越来越普遍。数据迁移是一个复杂的过程,需要仔细计划和执行,以确保数据安全和系统免受威胁。
本文将讨论云服务器数据迁移中的一些主要安全考虑因素,以及如何减轻这些风险。
1. 数据加密
为了保护数据在传输过程中免受未经授权的访问,数据加密是至关重要的。加密涉及使用算法将数据转换为无法识别的形式。只有拥有正确密钥的人才能解密数据。
在选择加密算法时,需要考虑以下因素:
- 加密强度
- 性能开销
- 兼容性
2. 数据备份
数据备份是保护数据免受意外数据丢失或损坏的另一项重要措施。理想情况下,应该有多个备份,保存在不同的位置和设备上。这可以确保即使一个备份丢失或损坏,仍然有其他备份可用。
选择数据备份解决方案时,需要考虑以下因素:
- 备份频率
- 保留时间
- 恢复速度
3. 访问控制
访问控制是确保只有授权用户才能访问数据和系统的关键。可以使用各种机制来实施访问控制,包括:
- 身份验证
- 授权
- 审计
身份验证涉及验证用户的身份。授权涉及授予用户对特定资源的访问权限。审计涉及跟踪用户对系统的访问并检测可疑活动。
4. 网络安全
网络安全是保护数据和系统免受外部威胁的另一个重要方面。可以使用多种措施来增强网络安全性,包括:
- 防火墙
- 入侵检测系统 (IDS)
- 入侵预防系统 (IPS)
防火墙是阻止未经授权访问网络的设备。IDS 监视网络流量以检测可疑活动。IPS 阻止可疑流量进入网络。
5. 供应商评估
在选择云服务提供商 (CSP) 时,对供应商进行彻底的评估至关重要。这应该包括评估供应商的安全措施、声誉和客户支持。
在选择 CSP 时,需要考虑以下因素:
- 安全合规性
- 安全实践
- 客户支持
结论
云服务器数据迁移是一个复杂的过程,需要仔细计划和执行,以确保数据安全和系统免受威胁。通过实施适当的安全措施,可以减轻这些风险,并确保数据迁移的顺利和安全。
云服务器与云服务器该怎么迁移数据?
在支持京东集团内部及京东云外部客户的业务迁移到京东公有云及京东私有云、京东政务云的过程中,京东科技-京东云事业群-技术服务组积累了相关业务系统数据迁移的一些管理和技术经验,以案例的形式分享给大家,希望对大家的业务迁移工作有所帮助。
业务迁移上云涉及到的业务数据种类繁多,主要类型包括: 数据库: 关系型数据库 MySQL 、PG、Oracle等 对象存储: 标准S3接口对象存储迁移中间件数据:ES、mongoDB、redis等 文件存储:文档、图片等非结构化数据 大数据:HBASE、HDFS files等。
在上云过程中,大部分业务均涉及到以上多种数据类型,基于相关迁移的案例所积累的经验,数据迁移需要在迁移启动前至少做好如下准备工作。
数据迁移技术方案制定完成,包含明确的迁移操作步骤、执行人、确认人。
制定迁移应急预案及回切方案,明确责任矩阵,确认异常情况的决策条件及决策人。
确认数据安全等级,确认数据迁移的方案合规安全,通过相关业务安全部门审核。
迁移时长及割接数据同步窗口的评估,确认各个业务及数据迁移可选的第二方案。
确认网络带宽及质量满足迁移需求。
下面是几个案例,涉及到了不同数据迁移的场景。
关系型数据库迁移:MySQL 数据迁移工具DTS服务在传输及同步、数据校验等步骤实现了一定的抽象化,具有相对友好的交互界面,同时可以实现多个任务并行进行,对要求平滑迁移的场景,具有自动化优势,节省大量人力,但需要满足源端数据库与目标端数据库与DTS管理服务IP网络互通,并具备稳定的网络连接。
mysqldump工具适合于网络连接不佳或需要一定业务中断时间的场景,本地操作速度快,但需要考虑数据文件的传输时间。
DTS与mysqldump工具都有各自的限制条件,需要仔细阅读产品说明,并通过POC验证功能。
案例一:从友商公有云迁移到京东云公有云,由于源端binlog问题导致DTS任务失败,最终通过mysqldump模式导出文件,本地导出速度很快,压缩后的数据库导出文件体积缩小,减少了网络传输耗时。
通过网络传输到京东云侧的云主机,然后source方式导入RDS,整个过程耗时小于2小时。
导入MySQL数据后,使用checksum_table工具对源端和目的端数据库做对比,发现部分表不一致,与业务方确认为源端在迁移开始后,停止服务不彻底导致,仍然有数据写入操作,后经业务及研发检查新增数据,对部分数据做清理后,完成数据库的迁移工作。
厂商改良(非原生)的数据库的迁移:在某些云厂商的特定数据库版本中,会对标准的数据库产品如mariaDB、PG等数据库做一些定制化的开发,以满足客户的业务的某些特殊需求,这种数据库属于厂家深度绑定的类型,在做业务迁移或灾备数据同步的时候,根据时间场景做定制化的迁移及同步方案,大部分需要从研发层面做一些定制化的配置和操作。
案例二:某金融用户,原系统运行于T的金融云,使用了定制化的RDS服务,因金融行业的业务及数据灾备规范,需要做异地容灾,将灾备系统运行于京东金融云平台。
为实现从T云定制化的TDSQL到京东云的迁移,对源端的数据库做了详细调研,因为源端是定制化的、具有自动水平拆分、Shared Nothing 架构的分布式数据库,因此使用京东云的DTS工具不适用于这个场景,同时,在两个环境,要求数据基本为实时同步才能满足业务容灾的需求。
制定方案时,考虑了传统灾备厂商的方案,但因传统厂商灾备方案多以主机级别数据及IO分析或日志分析为基础,无法适应云上RDS的场景,最终方案采取了基于gtid的主从复制的方案来实现数据库的异构云同步。
案例三:客户业务从友商云迁移到京东云,源端ES为K8S集群自建服务,服务访问方式为nodeport方式,选择迁移技术方案时,考虑了源端自建的ES未安装S3插件,因此采取reindex方式来做业务数据的迁移。
为实现从京东云侧对ES的数据拉取,在源端配置了一个nginx反向代理,实现了通过公网对内部ES接口的访问,同时配置白名单,限制访问IP为京东侧NAT网关出口的公网IP,确保数据的访问安全。
在京东云侧,临时调整路由表,配置明细路由,将源端公网IP配置到对应子网的路由表中,指向NAT网关,通过NAT网关可以拉取到源侧的ES数据,并在ES服务中对源端的公网IP做加白操作。
对象存储的迁移:对兼容S3协议的对象存储数据迁移,各个公有云厂商均有迁移工具或脚本,迁移技术难度不高。
但是,因为不同厂家的对象存储在不同region可能存在底层版本及配置差异,因此需要对迁移的数据做完整性和可用性校验。
在实际迁移中,需要根据项目实际的数据存储量、业务访问特性、业务停机窗口等信息,综合考虑迁移流程和选择技术方案。
Redis迁移:业务中Redis使用有两种场景,一种是仅作为缓存,不做数据持久化,这种业务场景,迁移后在新环境部署业务后直接调整业务指向新的redis实例即可。
一种是有数据持久化,这种业务在迁移到云上时,需要根据业务需求,做redis数据的迁移操作。
Redis有rdb(point-in-time snapshot)和aof两种持久化方案,其中rdb模式是二进制格式,类似于快照,恢复直接覆盖,aof保存的是命令(文本格式),类似于追加模式。
如果需要保留目标端的redis的数据,可以使用aof方式,但需要注意老版本Redis服务不兼容新版RDB格式。
数据备份的重要性:数据备份是在业务迁移的全生命周期怎么强调都不过分的环节,因数据备份不充分导致数据丢失、业务受损的教训很多。
在迁移实施过程中,因忽视数据备份而导致出现问题的事件仍然很常见。
问题可能来自客户,可能来自我们实施团队,也可能来自ISV或者其他可能操作数据的团队或个人。
在重要业务场景中,迁移前,需要对数据备份所需的存储空间做好评估并考虑备份空间的成本。
业务数据迁移总结:提前做好备份,有了备份数据,迁移过程的压力会减小,相对宽松的迁移氛围对迁移实施很有利。
迁移技术及工具的选择,需要根据业务性质选择并验证。
准备回退预案,做好POC验证,POC能发现部分问题,提前准备解决方案。
做好流程手册,明确操作责任人,联系相关部门做好迁移的切换阶段的护航准备。
产品和服务类的问题一定要能找到人支持。
明确责任矩阵、进行全面沟通,沟通能够发现技术层面很难发现的问题,越早建立迁移组织并形成有限的沟通机制,对迁移的顺利实施越有利。
致谢:本文写作过程中,京东科技-京东云RDS研发同事、京东科技-京东云对象存储研发同事、京东零售-企业业务事业群的研发同事提供了宝贵资料和建议。
向他们表示衷心地感谢。
为什么将数据存储到云服务器更安全
近两年WannaCry等攻击行为迫使企业IT部门更加全面地保障安全。
一般情况下保护不全面的传统服务器容易被攻击成功,比如说不及时地更新补丁、修补程序漏洞等。
但很多企业和开发者对云服务器仍缺乏信任。
对于云服务器这种新兴事物,企业和开发者大多会采取观望态度,推迟将关键业务部署到云服务器。
他们会觉得,将数据交由第三方机构来保存远比自己管理更加脆弱。
其实恰恰相反。
或许,将数据存储到云服务器更安全。
使用云服务器等公共云解决方案,使您不太可能受到攻击和破坏。
云中的安全层对大多数攻击来说都是一个有效的阻隔。
云服务器供应商会主动监控这些云集群,并迅速发现、快速阻止攻击。
负责任的云服务器供应商会部署自动化管理策略,例如自动更新最新操作系统,更新系统补丁,并自动在后台自动修复程序漏洞。
极少数的企业和开发者也是这样做的。
但对大多数企业和开发者而言,部署安全措施的成本和时间的消耗难以承受,并且在技术上也远远没有专业的云计算服务商可靠。
大多数企业和开发者无法高效地部署所需工作,以保持系统和用户对WannaCry等恶意攻击的全面保护。
当您仔细全面地了解云服务器等公有云平台的架构和实施过程,您可能发现使用云服务器存储数据,部署线上业务可能是更加安全的方式。
那些凭借直觉来判定安全性的固有观念可能并不准确。
事实上,目前已经有越来越多的企业,甚至金融、政府等高安全性要求的组织将关键业务逐渐迁移到公有云,或从云计算服务商获取技术支持搭建私有云或混合云。
这是一种IT发展的趋势。
从最近几年的调查数据显示,云计算遭受恶意软件攻击、漏洞攻击的成功率也远远低于传统IT基础设施。
当然,将数据迁移至云服务器等平台,即包含客户对服务商的信任,因此一定要选择拥有可靠研发和运维实力的服务商。
如果云平台本身或者其系统镜像等存在漏洞,可能导致灾难性的事故发生。
公有云计算平台,建议选择知了云。
知了云OpenStack云计算平台,已部署全面的自动化安全运维管理,包括监控、补丁更新、网络隔离等均实现自动化,并辅以人工7×24小时监控,可有效保障云端用户业务的持续安全。
总之,为什么将数据存储到云服务器更安全?云服务器简化运维,用户无需较高的技术能力,无需花费更多的成本和精力去部署外部的安全策略,只需专注内部应用的管理,云服务供应商会依靠更专业的技术基础,全权负责云平台本身的安全保护,使您可以安心地管理站点或应用,实现更加稳妥的应用管理、业务开发。
云服务器和云数据库有什么区别?
云服务器与云数据库在云计算领域扮演着不同角色,二者结合使用能提供全面的计算与数据存储解决方案。
云服务器依托于云计算技术,提供虚拟化的计算资源服务。
通过虚拟化技术在云平台上创建及管理虚拟机实例,为用户带来灵活的计算能力。
用户可通过网络访问云服务器,并根据实际需求安装操作系统、应用程序及软件,实现软件及应用的运行。
云服务器具备弹性与可扩展性,能快速部署与释放资源,适应各类应用场景。
云数据库则专注于数据存储与管理,提供高可用性、可扩展性和安全性服务。
它还包含容灾、备份、恢复与迁移等全套数据库解决方案。
对于需求不高的网站网络应用,无需额外购置数据库与存储空间。
然而,面对大量数据的网站,可通过扩充云盘或购买云数据库作为数据存储解决方案。
云数据库广泛应用于电商、金融网站、游戏数据缓存、大数据计算、连接大数据存储、计算与可视化引擎等领域。
它保障数据安全与可靠性,满足行业多样化需求。
综上所述,云服务器主要提供计算资源,支持软件与应用运行。
而云数据库则专注于数据存储管理,确保数据安全与高效服务。
云服务器与云数据库在云计算中相辅相成,满足用户多样化的计算与数据需求。