:
- 持续集成:将开发人员提交的代码频繁合并到主代码分支中。
- 持续交付/部署:使用自动化工具将代码更改自动部署到生产环境中。
- 监控和反馈:持续监控已部署的应用程序并收集用户反馈以进行改进。
云服务器和 DevOps 如何协同作用?
1. 加速软件交付
通过利用云服务器的按需扩展能力,DevOps 团队可以快速创建和部署新环境,从而加快软件交付周期。云平台提供的自动化工具可以简化部署过程,减少手动错误的可能性。
2. 提高敏捷性
云服务器和 DevOps 共同使企业能够快速响应市场变化。通过持续集成和持续交付/部署,DevOps 团队可以快速修复缺陷、添加功能和推出新产品。
3. 降低成本
云服务器允许企业根据需要按需付费,从而消除了对昂贵的硬件和现场维护的需要。DevOps 实践可以减少软件开发和维护成本,因为自动化工具可以减少人工干预和错误。
4. 改善安全性
云平台通常提供高级安全功能和服务,例如入侵检测、防火墙和分布式拒绝服务 (DDoS) 保护。这有助于保护云服务器上的应用程序和数据,并减轻安全威胁的风险。
5. 促进创新
云服务器和 DevOps 的协同作用为企业提供了快速试验和推出新产品和服务的平台。这有助于企业保持创新并在竞争中保持领先地位。
结论
云服务器和 DevOps 的协同作用为企业提供了获得竞争优势所需的关键能力。通过利用这些技术,企业可以加速软件交付,提高敏捷性,降低成本,改善安全性并促进创新。在数字化转型的时代,云服务器和 DevOps 将继续成为企业成功的重要推动力。
现在走云原生安全真的安全吗?
作者 | Drishti Shastri译者 | 天道酬勤 责编 | 徐威龙封图| CSDN 下载于视觉中国在当今时代,企业网络和数据安全风险从未像现在这样具有里程碑意义。
尽管如此,传统方法(包括公有云运营商使用的方法)基本上是相同的。
云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切云原生应用的兴起及其安全威胁云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切在当今时代,企业网络和数据安全风险从未像现在这样具有里程碑意义。
尽管如此,传统方法(包括公有云运营商使用的方法)基本上是相同的。
转向应对威胁攻击而不是阻止威胁的反应措施。
云原生应用程序日益受到重视,用各种可能的方式质疑了传统智慧。
从基础架构到应用程序的开发,堆栈在传统方法与更现代的基于云的方法之间形成了鲜明的对比,其中大多数已对成功的模式和实践达成了主流观点:DevOps文化、持续交付和微服务架构 。
为什么我们还没有重新构想云原生的安全性呢?我们对此大胆的新想法在哪里呢?可以肯定地说,在交付应用程序的过程中,云原生的安全性一直在被长期追踪。
传统的IT安全团队将自己视为中间人。
他们必须正确地完成工作,否则将面临代理机构所面临的更大风险。
它们在所有过程中都对安全性有很高的要求,但是要满足这些级别需要花费时间、测试和修订。
因为这会延迟应用程序的开发并且通常不能确保全面的保护,所以开发团队经常会抱怨。
当组织希望提高和加快应用程序改进生命周期并调度云原生应用程序时,安全将成为更为突出的测试。
大部分云原生应用程序都在新模型中运行,这些模型可提供非常规的生产力、适应性和成本优势。
使用dev-ops进行开发的云原生进一步将DevSecOps作为其安全组件。
DevSecOps试图将安全纳入速度、敏捷性和连续交付流程中。
但是,如果DevSecOps忽略了集成、业务流程功能和控制,并且对用户的安全性较低,则可能很难在连续交付系统中提供安全性。
云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切云原生漏洞云原生肯定会发生漏洞。
我们是人类,肯定会犯错误,尤其是在苛刻的期限和产品交付之后。
尽管有全部的警告、标志和注意事项,我们也会做出一些错误的判断。
在发出警告的过程中,人们继续盲目地从Stack Exchange复制和粘贴,来掩盖在GitHub上发现的应用程序,甚至随机地将代码从一个毫无头绪的文件夹中随机拉出,并且只能怀疑地认为该作者从未遇到过或甚至没有与之交谈过的第三方。
微服务应用程序的分布式性质意味着,即使在内部编写所有代码的情况下,通过消除第三方参与者的风险,不同的组件也可能由不同的团队拥有。
团队之间的沟通障碍会导致一系列问题,包括在测试、质量保证甚至应用程序中的漏洞解决方面缺乏协调。
一个单独的云原生应用程序可以包括分散在众多基础上的数千个剩余任务。
在本地数据中心、众多公有云和边缘数据中心中可能会有奇异的微服务,最后,在组织领域中,我们目前似乎还无法发展。
每个开发人员和每个开发团队都知道并了解如何解决不同的问题。
他们所做的就是相应地培养他们的注意力和知识。
在内部代码环境中,即使所有部门都以某种方式保护自己的更广泛程序的一部分,微服务也必须与其他部门联系,并且通信在这里是风险或脆弱性。
这些所有说法听起来都令人生畏和令人恐惧,但云原生确实解决了一些非常复杂的现实问题,我们再也不能忽视它的存在。
随着我们不断升级其安全性,云原生的漏洞正在不断发展并一直存在。
云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切对云原生应用程序的主要威胁尽管公司开始体验云原生应用程序的优势,但他们对处理和维护此类系统的实际方面却知之甚少。
与在云环境中相比,保护的后果是否与传统系统相比有很大不同?防护措施和保障措施如何对其产生影响?以下是基于云的环境的一些最高安全性问题:1.云配置错误IaaS和云数据存储的配置错误是当今一些最具破坏性的云违规和数据泄露的主要原因。
无论你要删除结构化的云安全设置、使用通用代码、无限制地访问某些资源还是其他任何原因,配置错误问题都会导致许多未知威胁,这些威胁仅在尴尬的遭遇后经常在报纸上看到。
最新的《 2019年云安全报告》称,大约40%的组织认为错误配置云平台是他们对网络安全的主要关注点。
2.商业化管理的IT不用担心“影子IT”或“流氓IT”。
毫不夸张地说, 几家公司将基础架构的收购趋势标记为,将获得和运营云服务的业务桥梁客户称为“商业化管理的IT”,以及创造力和发展的引擎。
《 Harvey Nash /毕马威CIO 2019调查》报告称,目前有超过三分之二的公司为企业推广或允许IT管理。
这是因为这样做的公司击败行业竞争对手的能力提高了52%,提供更好的员工服务的可能性提高了38%。
令人担忧的是,如果没有信息和网络安全专业人员的合作,这些云技术孤岛可能成为组织的巨大安全障碍。
这些公司的发展速度相当快,但调查显示,冗余的安全隐患波长的可能性是后者的两倍。
3.购买多云产品《云保护联盟报告》显示,大多数公司都依赖各种各样供应商的云环境来购买多云产品。
大约66%的公司具有多云设置,其中大约36%取决于多云和混合系统的混合。
目前,由于云实际上是希望降低其运营处理成本的所有其他企业的首选工具,因此云计算向其云消费者提供一系列服务(SaaS、PaaS、IaaS)。
云在其整个上下文中提供安全、迅速响应和服务质量。
但是,每次用户无法从一个云迁移到另一个云时,它都会保持成本和QoS可伸缩性。
为了克服这种多云计算框架,引入了基于云的系统之间的资源动态共享。
在多云设备中,安全性甚至是一个更为复杂的问题。
云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切4.混合架构根据著名的《云安全联盟报告》,大约55%的组织拥有复杂的、混合操作的云计算环境。
该系统为大型组织提供了一种逐步过渡到云的绝佳方法,但是当他们难以跟踪整个架构中的资产并监视众多混合云连接的活动时,它给安全性带来了挑战。
实际上,Firemon先前发布的一份报告显示,80%的组织都在挑战混合安全监控和管理工具的局限性和复杂性。
5.暗数据就像电信行业的暗光纤一样,暗数据也适用于企业和商业。
这里有大量未开发的、大多是不受监管的数据,它们只是存在而已,什么也没做。
不幸的是,尽管暗光纤明确代表了仅点亮即可增加功率和带宽的优点,即使被识别和忽略,暗数据也可能存在安全风险,无论它们在用户手中出现错误还是落在用户的范围之外。
有关暗数据的大多数争论都倾向于集中于组织的潜在价值和有用性。
实际上,对于愿意花费资本(资金、设备和时间)来创建和利用暗数据中锁定的知识和兴趣的组织,这些前景无疑是有利可图的。
这也说明了为什么许多公司尽管不打算代表他们工作,却拒绝在短期内或在计划过程中进一步交换黑暗的细节。
就像许多潜在的富有吸引力的信息资源一样,企业还必须意识到,暗数据或者关于暗数据及其客户和他们的云运营的暗数据,可能会给他们持续的健康和福祉带来风险,超出了他们的直接控制和管理范围。
根据最近的研究,有40%的组织仍处于有关容器环境的安全策略的规划或基本阶段。
6.容器与容器编排如果你使用容器在表面上开发应用程序或将现有的单源(单片)应用程序带入容器化的生态系统,则必须理解容器环境会带来奇怪的安全威胁。
从第一天开始,你就应该准备好应对这些威胁。
开始构建自己的容器,该容器将在生产行业中安装和运行。
以下是最常见的容器安全风险:特权标志:即使是那些对容器有深入了解的人也可以知道特权容器的含义。
使用特权标志的容器几乎可以执行服务器可以执行的任何操作,执行并获得对客户端资源的访问。
这意味着,如果入侵者进入一组受保护的标志箱,则它们可能会被破坏。
无限制的交互:为了实现其目标,容器必须彼此交互。
但是,容器和微服务的数量以及容器的短暂设计通常意味着,要执行符合最低权限概念的联网或防火墙法规可能会很困难。
但是,你的目标应该是使容器只能在减少攻击面所必需的容器中进行交互。
缺乏隔离:容器安全是一把双刃剑。
除了使用寿命短和功能受限外,它们的不变性质还提供了各种安全优势。
但是容器也可以用来攻击主机。
我们之前讨论过,这种危险存在于带有特权标志的容器中。
基础主机可能会受到许多其他错误配置的威胁。
云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切确保全面安全为了接近云原生的安全性,最好不要使用传统的手动安全技术。
此外,为了建立成功的DevSecOps,IT部门应将重点放在自动化和安全人员融入DevOps团队中。
由于其在容器基础结构中的微服务体系结构软件包,因此基于云的应用程序可以比传统应用程序更快地扩展。
以上意味着手动安全方法太慢而无法保留,并且自动化是强制性的。
将安全团队归入DevOps组可确保安全性包含在应用程序代码中,而不是一旦发现问题便进行修改。
这也可以加快并澄清对问题的响应。
让我们谈谈五个DevSecOps支柱,这些支柱在确保全面网络安全方面具有重大潜力:安全合规的部署管道:分析工具、集成管道以及如何将合规性和审核融入到DevSecOps和Cloud-Native Development的管道中。
安全且合规的云平台:身份和访问管理评估、检测控制、基础结构保护、数据保护和响应事件。
代码一致性:在软件开发过程中,合规性被视为代码框架,以确保管理、合规性和任何风险缓解问题。
机密信息管理:在混合云业务模型中管理基于云的敏感信息、密钥和证书。
容器隐私:容器如何适应安全策略,如何链接容器安全威胁以及如何审查容器操作模型和检查。
所有这些支柱都是侧重点领域,因此,始终地、完全地应用了业务安全,并且需要进一步进行审查。
为了提供每个实施支柱的跨部门愿景,对所有支柱进行横向治理。
这些治理模型适用于每个支柱,并确保支柱以互惠互利的方式运作。
受保护的交付:确保支持的应用程序平台和云基础架构稳定、合规且安全。
安全模式:开发安全位置和威胁模型以支持客户的多样化接受。
信息保护:确保内部和外部员工不受客户数据的保护。
风险评估:包括当前体系结构、容器策略和云基础架构,并对应用程序进行差距分析。
技术变更日志:创建有序的战术执行积压,通过交付工程结果来推动3-6个月的路线图和战略实施计划。
云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切对新安全原型的需求统计数据显示,到2021年,将有92%的公司成为云原生公司。
话虽如此,通常使组织陷入困境的是为它构建一个5000美元的应用程序和一个5美元的安全系统。
就云安全性而言,安全性同等或是一个更重要的因素。
因此,DevSecOps的概念需要尽早实施并认真对待。
DevSecOps在应用程序开发过程的所有阶段均提供合规性,并负责设计和安装应用程序。
首先要评估团队或实体的性质,并建立代表该团队或实体的程序。
第一步是在团队之间分配孤岛,以确保每个人都对保护负责。
由于开发团队出于安全原因构建应用程序,因此Ops将更快地交付软件,并且使你高枕无忧,因为他们理解开发人员知道稳定性和保护至关重要。
实际上,必须有可以立即进行安全检查的过程。
服务器记录表明谁进行了修改、进行了哪些更改以及何时进行了更改,这些都是在审核程序时要知道的所有重要事实。
保持保护的最简单方法是始终保证系统运行最新的软件更新。
安全修复程序无需花费数月的时间,并且应该是快速而自动的。
同样,在开发API和新功能时,应进行潜在的更新,以防止软件承担责任并阻止框架打补丁以防止崩溃。
创建云原生应用程序时,仍然没有单一的安全方法来保护你的软件。
为了保护云中的服务器资源,你需要采取多方面的方法。
为了保护你的容器,你需要采取几种策略。
归根结底,要将安全放在适当的优先级列表中,你需要DevSecOps策略。
云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切理想的云原生安全框架会是什么样?为了允许基于云的转换,公司需要在设计安全策略之前考虑以下进一步要求:高标准的安全自动化:常规的基于预防措施的安全操作根本无法使基于云的系统保持几乎无限的动态性。
根本不是手动工作流程的选择。
对云原生安全性的需求是自动检测和大规模灵敏性。
混沌设计:在微服务架构中,运行时组合在一起的许多软件组件可以用于任何功能。
从安全的角度来看,这意味着检测和控制的逻辑不能依赖于对操作安全性的事先了解。
云原生安全性应该包含混沌工程的原理——高效、有效地运行测试等。
快速识别,涵盖本地并立即追踪:云原生程序本质上是分配了计算应用程序。
在这样的生态系统中,随后无法轻松执行全局安全性选择。
因此,你希望确定措施的优先级,使你能够在系统范围的恶意趋势蔓延之前迅速识别,恢复并涵盖本地影响。
尽管你的安全决策并非100%准确,但是本地操作和快速恢复可以为你提供更兼容的现有系统。
随后,你的云解决方案应具有哪些原生安全性?简而言之,让我们关注编译器功能。
作者认为主要功能如下:混合堆栈可见性和决策支持在服务器、VM、数据库、软件和API服务中,即使分布了应用程序,但短期内还是动态资源和容器,仍需要云原生数据中心中的可见性和决策支持。
在这些不同层上获得的数据应该进入引擎,以便实时进行选择过程。
快速反应和警告功能可限制爆炸半径万一发生事故或袭击,安全解决方案将减轻并控制影响。
这种论点等同于迅速的决策和有见地的控制措施,可以在发生不可逆转的破坏之前阻止恶意行为。
在云原生环境中,智能检测系统可以完全识别入侵的出现并影响本地控制。
严密监控与调查由于所有分布式组件和API服务,云本机工作负载安全调查可能会很复杂,因此监视和安全调查必须最大程度地降低性能影响和存储要求。
这包括一个集中的监视体系结构,没有网络瓶颈,并且工作负载可以扩展。
与自动化工具集成容器工作负载可以在云原生环境中由Kubernetes、Openshift、Amazon ECS或Google GKE管理。
你可以(可选)使用Puppet、Ansible或Chef自动执行部署。
安全工具可以与要保护的工作负载一起自动部署,云环境必须是与此类组件的必备集成。
对于替换第一代物理服务器和虚拟机的事件驱动的容器和应用程序,安全性必须找到正确的切入点,以最大化可视性并降低风险,同时允许创造力和适应连续云交付的复杂性。
云原生的漏洞与威胁有哪些?安全性如何?这里有你想知道的一切结论从整体环境迁移到云原生环境确实听起来很吸引人,但是一旦决定这样做,请确保评估可能出现的所有安全问题,评估是否有足够的资源和团队来处理这些问题。
而且最重要的是,如果要实现这种转变,你的企业才能真正脱颖而出并发展壮大。
希望这篇文章对你有用,欢迎评论区和我们讨论。
yuntuteng unified management platform, easy to manage Petrochemical cloud
在19年12月,由PCCW与yuntuteng合作推动的中国石化智能工厂云管理平台项目启动。
作为国家规划布局中的关键软件企业,PCCW基于中国石化信息建设实践,构建了从咨询、设计与研发到交付及运维的完整IT服务价值链,形成了包括运维管理、智能制造、智能物流、新一代电子商务、云计算和大数据在内的五大核心业务。
随着工业互联网的快速发展,新一代石化经济对Sinopec Yingke的工业互联网平台提出了更高的要求。
Sinopec Yingke亟需迅速推进新业务应用的推广,提供统一且标准化的接口及完整的工业应用系统。
yuntuteng与Sinopec Yingke采用联合研发模式,以云管理门户为统一入口,构建了云资源管理和控制平台。
该平台连接了北方的业务应用系统和南方的异构资源池,目前管理着华为云资源,提供了统一且标准化的接口,用户无需感知底层架构;平台侧提供了运维管理、工单管理、配置项管理、运维管理等功能,为客户提供精细的管理和运维服务。
云平台的整体设计架构如下:该平台是一个独立可控的石化全产业链工业互联网平台,支持过程智能企业的研发与设计、生产制造及供应链管理,是营销服务所有业务链的核心载体,是信息物理系统(CPS)在石化行业的具体实施。
平台支持私有云、公有云及混合云的灵活部署,提供统一架构、统一服务和无缝智能云服务。
在yuntuteng石化项目中,公司产品主要包含:yuntuteng统一管理平台yuntuteng统一管理平台(T2UMP)实现了非云IT基础设施(物理机、VMware、PowerVM、KVM等)的统一管理和私有云(OpenStack、华为云堆栈等)及公有云(AWS、阿里云、华为云等)的统一接入管理。
平台的核心功能包括异构资源管理、混合云管理、成本和资产优化分析、资源迁移、监控告警、安全管理、容器服务、DevOps服务和自动运维服务;通过T2UMP提供的统一标准化接口,快速集成企业所需的业务应用系统,加速产业变革,享受云中卓越。
yuntuteng与Sinopec Yingke的强强合作标志着工业互联网领域布局的新起点。
当前,中国的工业互联网环境依然严峻。
尽管中国制造业拥有庞大的市场,但其核心技术仍依赖于西方。
许多先进的技术和工作环境软件都是从国外进口的。
我们还需走很长一段路才能全面进入工业4.0。
中国的工业互联网不仅仅是简单地使用云计算资源,也不仅仅是将本地服务器迁移到云端,更不是简单的软件SaaS(软件即服务)。
从底层连接到云服务,再到工业平台、工业SaaS,再到工业应用和增值服务,需要在多维度、多层次上实施本地化覆盖。
目前,我们需依靠生态合作伙伴共同努力,构建符合中国国情的工业互联网生态。
在疫情背景下,临时医院的建设及医疗防护物资的生产为制造业带来了重大考验。
员工返工困难和材料供应紧张也给制造业恢复能力带来了许多挑战。
作为工业经济的全要素、价值链和产业链,工业互联网全面连接新基建,充分发挥万物互联、信息聚合、优化调度、远程协调与服务的优势,对抗击疫情和中国未来快速发展具有重要意义和深远影响。
从PCCW未来的关键规划来看,下一步将重点关注三个方面:首先,优化并加强工业互联网平台,持续提升智能制造的核心竞争力;其次,强化政企合作,推动企业上云平台;最后,加强行业、高校、研究与应用之间的合作,共同构建智能制造生态系统。
未来,yuntuteng将继续深入行业痛点,细化垂直领域的解决方案,逐步形成细分领域的工业操作系统,依托自主研发的信息创建云平台,打造新一代信息技术与实体经济深度融合的基础设施,提升智能工业生态系统,加速工业4.0进程,实现企业通过科技兴国的愿景。
解析云原生 2.0 架构设计的 8 大关键趋势
云原生2.0是企业智能升级新阶段,企业的云化从“ON Cloud”走向“IN Cloud”,当一切应用都生于云,长于云,云架构的迭代也会进入一个新的阶段。
围绕云原生2.0,华为云首席架构师顾炯炯提出了8个关键模式: 分布式云,混合调度,应用驱动基础设施,存算分离与数据治理自动化,可信、平民化DevOps,基于软总线的异构集成,多模态可迭代AI模型,全方位立体式云安全。
分布式云
随着云化和数字化渗透到制造类、工业互联网类场景,5G技术在to B领域应用的快速成熟,以及物联网 、AI技术的成熟,现在云的服务对象不仅是企业的后台IT支撑系统,它延伸到了前端的“现场”,类似于工业场景里的近场计算。
如果还是将所有的数字化应用系统都放在集中的数据中心,它的时延无法满足实时生产系统的要求。
另外,有一些行业的敏感数据不能从现场或者数据产生地直接简单的上传到云端,它存在数据安全、隐私保密的问题。
再比如医疗里的基因大数据、视频监控等场景,如果所有数据都上传到云端,带宽的成本非常高昂。
所以,我们必须要引入云边端协同的分布式概念,构建分布式云的架构。
这个架构可以和核心侧架构配合,覆盖核心区域、热点区域、本地机房、业务现场等不同接入时延敏感度,数据隐私合规要求及数据上云带宽成本的应用上云场景。
举个例子,通过这样的方式,可以把云端的很多算力和计算逻辑,甚至是训练好的AI模型推送到更加靠近用户数据产生地的位置上,进行就近的计算,将海量的数据做一定的收敛、分析、脱敏等,再发送到云端进行闭环的处理和控制反馈。
混合调度
在很多算法专家的努力下,华为云通过瑶光调度平台大大提高了资源的分配效率,达到甚至超过了80~90%的程度,已经接近于业界的领先水平。
但是资源的实际利用率仍然处在一个比较低的水平,当然业界平均也不是特别理想,领先者差不多20%左右。
为了解决这样的问题,华为云引入混合调动、柔性计算的能力,将在线和离线的不同优先级的业务,进行QoS感知的智能调用,实现资源利用率最大化。
柔性计算不仅仅具备弹性的特征,保证了横向的资源扩展,而且它也能实现纵向资源规格的可大可小。
目前,消费者云已经在内部验证了柔性计算的能力,可以在不改变上层业务的前提下提高利用率,实现性能的倍增。
关于柔性计算的更多内容参考 华为云首席架构师顾炯炯:敢为人先,探索架构创新之路如何走。
应用驱动的基础设施
如今,软硬件的垂直整合,特别是靠近操作系统底层的硬件和云服务基础设施层的服务软件之间的纵向整合能力,成为新的趋势,它把基础设施服务底层的硬件和相应的服务封装层打包在一起。
云服务厂商可以设计研发定制芯片,比如存储和网络的硬件卸载的芯片、匹配深度学习逻辑处理框架的芯片等等。
如果有能力构建这样的软硬件垂直整合的能力,就能拥有相比其他云服务商更优的价格优势,也得以呈现自身独特的硬件、芯片优势。
有了应用驱动的基础设施之后,根据应用的性能SLA需求,来定义是使用与软件完全解耦的通用硬件资源,还是匹配应用场景特殊诉求的软硬件深度协同的卸载卡或异构计算资源。
这也能发挥华为软硬件兼长的优势,我们在硬件领域有不少核心创新:一个是 SDI, 叫软件驱动的基础设施,也就是把分布式存储\分布式网络,还有Hypervisor的一些系统能力从服务器卸载到PCI卡上,也即SDI/擎天卸载卡。
二是鲲鹏硬件支撑云存储和数据湖的处理, 鲲鹏单核处理能力虽弱于X86,但核密度则达到X86 CPU的2倍,因此在对IO及内存带宽作为其性能瓶颈的大数据及分布式存储场景,是比X86更好的选择。
同时,我们也在用自研的升腾NPU取代GPU构建AI平台, 它在深度学习的训练推理中体现出更高的能效比。
存算分离和数据治理的自动化
未来企业的所有的数据孤岛都将汇聚到云端的数据湖,进行统一生命周期的治理和管理,所以必须要解决数据计算分析的资源需求。
数据湖里有各种各样的结构化、半结构化、非结构化的数据,但这些数据的分析计算和底层的存储容量之间的需求,并不是线性匹配的关系。
比如对于深度学习的场景,数据量需要不断的计算迭代,它需要更多的计算能力,相对较少的存储需求。
因此在不同的业务场景下,数据分析计算和存储的要求是不一样的,最终一定要走向存算分离。
在存算分离领域里面,华为云已经积累优势,从最早的去中心化的分布式存储引擎FusionStorage开始,七年磨一剑,我们从内部验证到向外部的推广,从块存储延伸到对象存储、文件存储、分布式的集群数据库,把原先在开源架构里五花八门的底层存储技术引擎架构实现了统一。
经过实际的测试,在业界同样支持存算分离数据湖架构的云场景中,华为云体现了领先30-60%以上性能优势。
再就是数据治理自动化。
现在的数据治理的还是人力密集型工作,整个过程非常低效,很难满足很多行业的要求。
所以在这个架构模式里面,除了存算分离的数据库,还要构建数据治理自动化。
通过引入AI的技术,将数据的获取、清洗以及最终数据知识的提取,主题库的建立、数据目录的发布,都实现完全的自动化。
用户只需要指定入湖的数据源和所属业务主题域,系统自动化创建入湖任务,底层资源根据入湖数据量自动扩缩容,智能完成入湖数据的安全等级、分级分类、隐私等级等数据标签的自动识别打标。
这个能力对企业数据资产的快速沉淀能力的构建是至关重要的。
可信、平民化DevOps
通过将一系列安全可信措施嵌入到敏捷开发运维模式, 构建所谓的DevSecOps流水线,实现敏捷快速迭代与严格质量管控兼顾;并通过低代码/无代码实现更多行业应用资产的沉淀, 将行业应用的开发效率再上一个新台阶。
Devops实现了应用的敏捷开发,但在面向政企时,还需要满足应用质量和安全可信的要求。
因此在遵循DevOps的同时,将安全能力集成到其中,升级成为DevSecOps。
使用安全左移、默认安全、运行时安全、安全服务自动化/自助化、基础设施即代码(IaC)等技术, 实现管理与协同、设计与开发、CI/CD、应用管理、运维、安全可信等各个环节的一体化趋势。
此外,由于传统政企开发投入有限,需要通过低码化无码化,来实现对应用进行快速构建及改造。
华为云低代码平台AppCube可支持多种页面类型和丰富的组件能力,基于它的服务能力编排和业务流程无代码定制,可实现灵活流程触发方式、多种权限配置方式、自定义业务编排等。
基于软件总线的异构集成
即帮助企业构建可平滑演进的IT架构, 实现老旧应用与新建云原生应用,线上与线下应用的平滑融合集成。
云原生下,企业很多应用都要进行微服务解耦,遵从微服务的治理架构,进行水平扩展的架构的设计,甚至把原来的单体架构逐步进行拆解。
但这个过程不是一蹴而就的,尤其是那些包袱比较重的传统行业,他们还面临很多现实的挑战。
所以我们要在企业传统IT架构和云原生架构之间搭建无缝的桥梁,在确保企业业务连续性最大化的前提下,实现平滑的切换和演进。
以Roma Connect为例,它可以通过软总线的形式,把云原生和非云原生的传统世界无缝的连接起来,支持异构的应用和数据库源的对接,也可以对接到云上开发平台、数据湖,实现无缝互通。
在架构的平滑演进中,首先需要将传统非云原生应用封装为REST接口与云原生应用对接,通过统一接口服务层APIC进行开放,业务云原生应用通过标准接口即可获取老系统信息。
同样的机制可以将线上线下,及部署在多云环境上企业IT系统的无缝互通。
其次传统Oracle/Sybase等传统数据库及中间件与设备协议接入上云:云上云原生应用通过云上标准API调用、数据库访问、消息订阅等方式即可获取传统数据。
最后,通过全生命周期的API管理能力,包含从设计、发布、上架、治理的全过程,帮助企业构建整个跨地域,跨组织、跨部门的应用网络,并沉淀行业应用资产。
多模态可迭代的AI模型
AI在行业落地面临的问题是能够获取到的训练数据是非常有限的,单纯的依赖数据驱动的深度学习训练,使得行业AI模型是非常难以泛化、通用化。
预训练大模型是解决AI应用开发定制化和碎片化的重要方法。
通过一个AI大模型实现在众多场景通用、泛化和规模化复制,减少对数据标注的依赖,赋能AI开发由作坊式转变为工业化开发,比如华为云之前推出的盘古大模型。
另外也要引入知识计算的能力, 类似于把知识图谱这样的能力和基于感知计算的数据驱动的AI模型互补结合起来。
也就是说把知识模型和数据模型,在数据样本相对缺少的情况下结合在一起,更好服务于行业AI的落地。
帮助企业打造自己的知识计算平台,整合分散在不同系统、多种形态的企业数据,形成带有建议性的知识体系。
全方位的立体式云安全
1.0阶段的云安全服务更多的是孤立的安全能力:虚拟化安全,hyporvisor防逃逸能力,云防火墙能力其实都是割裂的,并没有跟所有的云服务形成互锁。
全方位的立体式运营安全通过打通离散的云安全服务能力,将其与其他云服务及客户应用形式互锁, 构建安全Build-in的云原生应用,以及引入可信智能计算,解决跨行业数据隐私保护与流通碰撞、价值挖掘之间的矛盾。
首先通过可信智能计算提供四个核心能力,进行安全可信的数据计算。包括:
1、跨组织、跨行业的多方数据融合分析和多方横向与纵向联邦学习建模;
2、支持对接主流数据源和深度学习框架;
3、支持安全多方计算(例如同态加密,差分隐私等),并支持用户自定义隐私策略;
4、基于区块链的数据计算轨迹的可追溯可审计。
此外,为了全方位安全,还需要将全栈云(及其子集)下沉部署(连线/非连线),彻底解决敏感行业上云安全顾虑,以及将全栈云服务、企业新开发云原生应用、aPaaS/SaaS等与全栈云安全能力互锁,为用户构建体系化的云安全平台。
本文分享自华为云社区,作者:技术火炬手。