在当今高度互容错:使用具有内置冗余的组件,以确保它们在发生故障时仍然可以工作。
容错系统的优点
实施容错系统的好处包括:
- 提高业务连续性:容错系统可确保系统故障不会中断业务运营。
- 减少收入损失:通过最大限度地减少中断时间,容错系统可以帮助企业避免收入损失。
- 维护声誉:业务中断可能会损害公司的声誉。容错系统可以帮助企业避免此类问题。
- 提高客户满意度:客户会欣赏始终可以访问他们需要的服务和提高客户满意度。
关于多活容灾的描述
多活容灾是一种容灾技术,它通过在多个地理位置上建立相同的系统,实现数据和服务的实时同步和镜像。
这样的设计允许在单一系统发生故障时,容灾系统可以迅速接管并继续运行。
以下是关于多活容灾的详细描述:
多活容灾系统的关键要素包括:
总的来说,多活容灾提供了一种高度可靠的数据保护方法,可以在单一系统故障时快速切换到容灾系统,从而保证业务连续性。
这种技术广泛应用于金融、医疗、政府和其他关键行业。
一文搞懂:什么是业务连续性管理(BCM)?
深入理解:揭开业务连续性管理(BCM)的神秘面纱在当今商业环境中,确保组织在面临各种威胁时依然能够稳定运作,业务连续性管理(BCM)成为企业不可或缺的基石。
它不仅涉及ITIL4的Service Continuity Management,还有ISO-2019等国际标准,共同构建了一个强大的保障体系。
核心目标是通过减少威胁影响,实现快速的业务恢复。
它分为IT业务连续性和企业运营连续性两个关键领域。
首先,ITIL4的Service Continuity Management确保在灾难之后,关键IT服务能够迅速恢复,维护组织的生存力和业务价值,定义服务连续性为灾难后依然能保持服务运行的能力。
ISO-2019则在银行业务连续性管理中发挥作用,涵盖策略规划、组织架构设计,旨在确保重要业务在突发事件后能顺利恢复,包括技术故障、外部服务中断、人为破坏和自然灾害等。
在BCM的框架下,我们关注几个关键概念:灾难,指突发且可能带来严重损失的未预见情况;RTO(Recovery Time Objective),即设定业务中断到恢复的最短期限;RPO(Recovery Point Objective),是业务中断后可接受的数据丢失量。
例如,RPO限制在30分钟内,这意味着备份策略需要相应调整以满足这一要求。
MAO(Maximum Acceptable Outage)是业务中断前必须恢复的时间点,RTO需小于MAO,这反映了组织的风险承受度和业务优先级。
BIA(Business Impact Analysis)通过识别重要业务功能、依赖关系,确定IT服务恢复需求,包括RTO/RPO等关键指标。
在执行层面,业务连续性涉及灾难恢复计划,包括预先制定的响应策略、恢复流程和返回正常运营的计划,以及应急预案,确保在危机中职责明确、程序严谨、风险得到有效控制。
相较于可用性管理,服务连续性更关注高影响的紧急情况,而可用性管理则侧重于预防和处理低概率高影响的故障。
两者虽有交叉,但目标和侧重点各异,共同维护业务连续性。
容错技术确保系统在故障时仍能维持运行,容灾则是在灾难发生时维持业务持续,通过系统冗余和迁移技术提供实时接管。
备份是基础,容灾则提供了更高层次的业务连续保障。
高可用性(HA)设计涵盖了从研发到运维的全方位策略,确保在本地故障时服务不间断。
在市场细分中,BCM、DR和高可用性解决方案由多家厂商如H3C、同创永益、中金数据、神州信息等提供。
容灾与备份虽有区别,但互相补充,共同保护数据安全。
通过BCM,组织可以制定全面的中断应对策略,包括应急响应、恢复计划和高可用性设计。
总结来说,容错、容灾和备份是数据安全和业务连续性的重要组成部分,它们共同守护企业的稳定运营。
高可用性和灾难恢复分别关注本地故障和跨地区恢复,而BCM则是整体战略的指挥中心。
在这个复杂体系中,不断学习和优化是保持竞争优势的关键。
如果你需要深入了解或寻求专业咨询服务,我们提供了ITIL4相关课程和定制化解决方案,点击链接了解更多:[ITIL4在线课程详情]和[IT运维流程咨询服务]。
高容错!银行如何搞定PB级非结构化数据的存储与快速搜索
张鹏,某城商银行系统管理组存储/备份/应用负载管理员,具有丰富的项目实施与运维管理经验,参与行内新一代核心系统建设、同城与异地容灾系统建设与切换、非结构化数据服务平台迁移改造等项目,对异构存储设备监控、存储虚拟化及同城双活、分布式存储有深入的研究和应用,结合业务数据访问的多重需求进行存储资源适配。
本文针对银行内非结构化数据增长迅速、存储困难、搜索缓慢、识别采集空缺等问题,提出了非结构化数据服务平台的设计和部署方案,并对平台中的非结构化数据生命周期管理策略与平台容灾容错架构设计思路的进行了分析与总结,最后,做出了商业银行非结构化数据服务平台的业务对接计划,提出了未来业务的发展方向。
银行作为非结构化数据密集的企业,基本上涵盖所有类型的非结构化数据,如视频数据、音频数据、图片数据,既包括系统自己产生的近些年越来越多的行内业务系统,也包括与客户交换产生的,还有购买获取的,这些数据按照格式分为电子文档、图像、音频、视频、XML/HTML等类型。
非结构化数据格式、标准多样,而且这些数据每年以几何级数在增长,在技术上比结构化数据更难存储和分析。
行内信贷类业务、信用卡业务、手机/网上银行等渠道类业务、财务共享业务、柜面无纸化以及电子档案等多个业务系统,仅影像文件每日产生新写入文件接近10万张,调阅影像文件近30万次,每年数据增量近10T,随着线上业务的开展,与业务场景相关的影像文件数量与容量仍会持续增长。
此外,银行内部邮件信息、聊天记录客服热线音频文件、市场调研结果、视频课件、客户关系管理系统中的评价及程序中的文本字段等非结构化数据都面临着和影像文件类似的存储与管理压力与挑战。
随着非结构化数据的剧增,传统型数据库无法满足存储大数据基本的非结构数据,导致架构急需做出调整,尽可能的满足业务需求,实现PB级别数据的存储以及快速搜索。
在此基础之上提出非结构化集中处理平台产品方案,主要针对行内业务系统产生的图片、文档、提供一套高可靠、高效性、高扩展性、高容错性的企业级非结构化数据服务解决方案。
为了大规模、高效率地存调、分析非结构化数据,平台针对标准接口的字段进行了定义,提供一个较为规整、有章可循的非结构化数据集,提取其基本元素,形成数据字段。
数据字段是通过对非结构化数据进行主题提炼形成主题字段,通过汇总非结构化数据通用属性形成通用字段,通过标识非结构化数据的格式形成技术字段,并基于以上三个维度的标签满足更大规模的数据分析和系统性存储。
主题字段包括渠道来源、机构号、流水号、系统号和数据来源等,通用字段通过汇总非结构化数据的通用属性形成,这些属性不涉及非结构化数据的主题,包括扫描时间、扫描人、影像名称、文件类型等;技术字段反映的是形成非结构化数据所运用的原始处理技术,从而获得非结构化数据的底层特性,包括影像ID、数据大小、分辨率等。
上述数据字段形成后,非结构化数据的基本属性与业务属性都可以较全面的描述和快速检索,也为不同类型非结构化数据的统一存储提供了可能。
非结构化数据服务平台在设计上采用低耦合思路,分为表象层,业务逻辑层,数据访问层的三层架构,它会将业务产生的图像数据扫描归档到影像平台,并实现影像的查询、条码打印、按顺序批量打包下载影像文件的归档、修改归档、拷贝归档、分类查询、阶段标示绑定关系、影像操作日志等功能。
表现层(UI)展现给用户操作的界面,包含多个调用渠道。
本平台以渠道为单位,针对各个渠道进行管理,提供一个安全可靠的环境,保证数据实时性的同时保证服务的稳定性。
这些渠道主要通过http/https协议和数据上传平台进行通信,保证传输过程中数据的安全性。
这些渠道在本系统中只是以影像数据传输接入,没有业务逻辑,各个渠道具体限制由管理平台配置化实现。
业务逻辑层由非结构化数据集中处理平台(UCP)服务及三方数据上传平台应用服务组成,三方数据上传平台主要负责处理非结构化数据业务逻辑,UCP主要实现非结构化数据的存储,该平台支持大部分行内业务系统的非结构化数据处理服务,少量有高定制化需求的业务,UCP提供非标准接口,有针对性的为信贷类业务系统定制化开发,实现其全流程信贷系统非结构化数据的存储以及下载,而针对无定制化其他渠道,均通过标准接口进行满足。
三方数据上传平台APP主要实现互联网系统非结构化数据的校验、控制、缓存以及压力均衡。
数据层主要由非结构化存储ElasticSearch(ES)分布式搜索服务,配合轻量级的传统DB与后端高、中、低性能网络存储共同构成。
ES主要负责保存UCP写入的元数据,并可高效完成大量非结构化数据的搜索和分析;传统DB主要负责配置信息以及部分日志信息的存储;采用开源软件定义存储,主要负责非结构化数据的归档,高速网络存储部分可作为上传平台影像文件缓存,提高ES索引存调速度,最后通过归档流转规则进行非结构化数据的动态迁移与归档保存。
非结构化数据服务平台的基本组成包括接口服务、索引服务、存储服务、非结构化数据的生命周期管理与数据分层迁移、业务连续性的容错、容灾架构考量、业务访问量监控与效果、以及未来规划与展望。
在接口服务方面,标准接口基于REST方式实现,调用方以REST API调用方式调用即可;物理结构上由2台非标准影像应用服务器通过应用负载对接信贷系统渠道,3台标准影像应用服务器通过负载均衡对接行内其他业务系统渠道;互联网业务数据通过三方上传平台处理之后,会对接影像应用服务器。
索引服务方面,ES索引服务主要负责索引(存入)与检索(调阅)两部分,其中索引部分包含分词器、过滤器、字符映射器等,检索部分包含查询解析器等。
其索引是先在内存里生成,然后定期以段文件的形式将元数据刷到磁盘的。
每段写到磁盘上之后是不能被修改的,一个段文件就作为了一个实际上的索引,字段就是最小的检索域。
存储服务方面,存储服务作为非结构化数据文件的载体,需要充分利用存储,降低存储成本,保证数据安全和服务质量。
作为基础服务平台,为高效率利用存储,将其分为在线、近线(GFS分布式存储管理)、离线存储配合影像数据文件的归档控制。
在业务连续性的容错、容灾架构考量方面,容灾容错架构都是基于业务的可靠性和服务可用性,以及应对各种故障并能快速响应的可操控性去考虑和设计的,容灾IDC要保证业务服务的连续性以及数据的可用性,因此在平台前后端均有所考虑。
非结构化数据存储的同城容灾实现方式是:在线区高性能SSD NAS依靠SnapMirror技术,提供数据高可用性和快速数据复制服务,通过专用数据传输LAN网络,实现同城容灾中心NAS设备的高速数据复制,并不断更新数据,保持最新且能随时满足使用需求。
关于非结构化数据服务平台的未来规划与展望,会从内部结构优化、数据中心运维服务支持、行内业务系统新增功能需求以及未来银行有机会承接的非金融资产交易几方面来进行规划和展望。
在下一阶段,非结构化数据服务平台不断优化自身功能与架构,或通过光盘介质库对物理磁带库的存放年限和成本的进一步降低提供补充和完善,同时实现海量非结构化的验证与快速恢复,将备份数据的敏捷验证功能作为快速容灾容错的一种补充手段。
数据中心内部千台以上生产服务器、操作系统、数据库、中间件、网络设备以及专用设备产生的海量日志,可交由非结构化数据服务平台进行采集、萃取、清理与整合,并将非结构化与半结构化的数据提炼并应用在运维管理中。
使用ES技术实现高效的搜索与存储,用于系统问题的快速定位、搜索、分析、干预、解决和预测,为后续数据中心智能化运维进行有力辅助。
随着行内业务数量与种类的不断增加与更新迭代,非结构化数据服务平台面临的压力和挑战不断攀升。
呼叫中心与智能客服系统会产生大量语音录入与智能存储与分析需求,银行销售理财产品、基金、保险等产品时,全程同步录音录像产生的双录数据也有保存至对付后半年以上的需求,以及配合智能视频分析、语音识别和自然语言处理技术,达到快速判断合规性和稽核、风控智能化分析的需求。
会计凭证、会计账簿、财务会计报告以及其他会计档案都有30年以上或永久保存的业务和监管需求。
在后疫情时代,金融行业也在不断进行发展方向的思考。
疫情冲击加速了线上“无接触”服务全面推进的进程。
与区块链技术不可篡改特性相结合,个人和企业在参与金融服务过程中,在存储数据时存在信任的问题,就可以通过区块链建立起信任,电子证据存证、电子签约等业务逐渐在兴起并日益成熟。
以电子签约为例,可将公证处、司法鉴定中心、仲裁委等权威机构纳入区块链节点生态,确保客户电子合同证据链的数据真实、私密、无法篡改,可支持单日上亿笔签单的存储量,并已广泛应用于金融、供应链、租房租赁、人力资源等场景,实现电子合同全证据链溯源;与人工智能技术相结合,可对客户提供线上合同智能归档、智能检索、智能监测与提醒等服务,提供高效便捷的合同全生命周期服务。
针对上述线上签约的场景,银行系统可提供等级保护四级的IDC机房,提供私有云架构环境支持业务部署,提供高稳定性的系统环境和同城双活、异地保护等多种容灾机制,提供高并发业务量的性能保障,提供个人与企业资料审核、实名认证和CA证书颁发服务,在不接触合同内容同时进行线上合同签章,同时对敏感字段加密,保证客户数据安全性和隐私性。
未来银行要快速适应互联网+的环境,消除摩擦,实现功能,原有的传统银行产品线上化已经不能满足未来的客户体验和嵌入式银行的功能,未来物联网状态下,银行业务将以客户为中心,基于数据预测算法,嵌入日常穿戴设备、智能汽车与智能楼宇的管家服务之中,逐渐步入银行4.0时代。
关注公众号【dbaplus社群】,获取更多原创技术文章和精选工具下载