在当今竞争激烈的商业环境中,企业需要能够快速适应不断变化的需求。云服务器定制化是实现这一目标的强大工具,它使企业能够根据其特定需求定制和优化其云环境。
什么是云服务器定制化?
云服务器定制化是指根据特定需求调整和配置云服务器的过程。这种做法使企业能够选择最适合其工作负载和应用程序的硬件、软件和配置选项。
云服务器定制化的优势
云服务器定制化具有以下一些优势:
- 更高的灵活性:企业可以自定义其云服务器以满足不断变化的需求,而无需依赖云提供商的预定义选项。
百度智能云AI技术加身,自动驾驶量变到质变倍道兼行
当前,自动驾驶技术的发展可谓日新月异,不过离最高级别还相去甚远。
2022年,自动驾驶行业在喜忧参半中前行,一方面,众多自动驾驶公司估值缩水、裁员倒闭,高级别自动驾驶技术商业化落地尚需时日;另一方面,国内自动驾驶利好政策密集出台,首次实现立法突破,自动驾驶测试区不断增加。
据IDC《中国汽车云市场跟踪研究,22H2》报告显示,2022下半年,中国汽车云解决方案市场规模共计17.62亿人民币。
其中,中国自动驾驶研发解决方案市场规模达4.95亿人民币,同比增长100.2%。
网络智能云以35.9%的市场份额排名第一,同比实现162.0%的超高速增长,在国内汽车云市场中处于龙头地位。
在自动驾驶预冷之际,网络智能云为什么能够在竞争激烈的智能云市场取得如此骄人业绩?在自动驾驶赛道,网络智能云有怎样的布局和哪些合作模式?如何利用优越的闭环能力提升自动驾驶领域客户的核心竞争力?
图 | 网络智能云泛科技行业总经理张玮接受焉知专访
带着这些问题,记者在焉知第三届焉知年会线下专场会——网络智能云自动驾驶领域区域“智能行”系列活动(华东站)期间专访了网络智能云泛科技行业总经理张玮。
他表示,网络智能云布局由来已久,之所以能够得到广大客户的高度认可,皆源于以合作模式、极致优化、全面数据服务,以及“AI大底座”技术,持续满足客户的差异化需求,为客户创造价值。
智能云市场网络何以一骑绝尘?
不言而喻,智能汽车是未来汽车发展的方向,自动驾驶技术已成为智能汽车研发的关键,汽车云市场竞争的关键领域之一正是自动驾驶。
2023年,作为一种集成多种AI技术的综合模型,“AI+大模型”在自动驾驶中呈现出广阔应用前景,成为整个智能汽车行业关注的焦点。
网络智能云之所以在中国自动驾驶研发解决方案市场领袖群伦,张玮道出了个中缘由:“首先得益于网络智能云的领先架构。
作为大模型与自动驾驶并重的头部科技公司,网络智能云基于‘云智一体’优势,正持续发力自动驾驶应用。
”
他说,从2019年提出“云智一体”概念至今,网络智能云“云智一体”架构已迭代至3.0版本。
通过切入行业核心场景,打造行业标杆应用,带动和沉淀了AI PaaS和AI IaaS层的能力,打造出极致性价比的异构算力和高效AI开发运行能力,其向上可优化已有应用、孵化新应用,向下可以改造数字底座。
“‘云智一体’战略让我们较早地在芯片、框架、模型和应用各层进行了布局和协同,成为全球唯一一家在各层都有领先产品的公司,”张玮说。
如果要给网络智能云找两个关键词,其一是“聚焦”,网络智能云依托“云智一体”的领先优势,聚焦自动驾驶研发过程,利用核心技术做最核心的事;其二是“完整”,网络智能云提供了从业务侧到资源侧的完整解决方案,包括端到端数据闭环、贯穿研发流程的工具链、为工具链提效的大模型,以及为全流程提供强大算力支持的“AI大底座”,能够满足从L2到L4的研发需求,加速自动驾驶业务落地。
整体布局满足客户差异化需求
谈到网络智能云在自动驾驶领域的布局,张玮表示,网络智能云依靠多年来在云计算、大数据、人工智能的深耕,赋能自动驾驶多个垂直赛道,客户涵盖乘用车造车新势力、商用车干线物流类、Tier1/2汽车零部件厂商、L4/L5无人自动驾驶小车,以及耕耘自动驾驶算法、解决方案的科技公司。
在解决方案层面,网络智能云提供自动驾驶云边协同、安全合规、量产车流量调度等解决方案,相关智能座舱解决方案、大数据解决方案都在场景打磨过程中。
相比其他友商,网络智能云的产品与解决方案更为全面,无论是最佳实践,还是产品功能等都有丰富的最佳实践、落地场景,全面覆盖智驾、智舱、智图、智云四个领域。
灵活多样的合作模式也是网络智能云的一大特色,“合作既可以是双方共建式的战略合作,也可以是项目的合作,当然,我们也非常欢迎客户成为我们的生态合作伙伴,联合打磨解决方案和产品,”张玮表示。
在满足不同客户的差异化需求方面,网络智能云提供了丰富的产品和服务,包括基础云底座的IaaS和PaaS服务,还有上层应用级别的通用应用产品和行业应用产品,不同的客户可以各取所需。
在张玮看来,车企选择云服务合作伙伴的关键考量主要包括:一是技术实力和服务能力,比如能否提供先进的产品技术和解决方案,能否提供安全可靠的数据存储和计算服务,以及能否提供高效专业的客户服务;二是合作伙伴的支持和协同能力,包括是否有完善的合作机制和支持体系,是否能够协同创新和开拓市场;三是能否提供定制化解决方案,满足车企的差异化需求。
为了提供更好的服务,网络智能云从四个方面入手打造,一是加强技术研发和服务能力建设,不断提升产品技术和解决方案的先进性和服务质量;二是建立完善的合作机制和支持体系,为合作伙伴提供全方位的支持和服务;三是与合作伙伴一起积极进行市场推广和业务创新;四是注重定制化解决方案的开发,为客户量身定制。
极致优化为客户创造价值
构建自动驾驶端到端的模型生产和上线迭代的闭环能力,是自动驾驶领域客户加速技术研发和商用落地的核心竞争力之一。
在这方面,网络智能云通过网络百舸方案对自动驾驶常用模型进行了优化与加速,尤其是通过百舸方案的AIAK训练加速能力。
截止目前,在CV、NLP、推荐场景中,基于百舸AIAK-Training2.0能力,针对自动驾驶典型模型,如resNET、bert、swin-transformer等,网络智能云携手英伟达,通过数据加载优化、模型计算优化、多卡通信优化等手段,实现了17个模型训练多达39%-390%的性能提升。
“这项模型训练优化工作还在不断扩展和进行中。
所以,网络百舸尤其模型训练加速能力,能为客户带来非常大的价值,”张玮信心满满。
他介绍说,网络智能云的AI IaaS,也就是网络百舸是一个AI异构计算平台,包含AI计算、AI存储、AI加速、AI容器四大核心套件,具有高性能、高弹性、高速互联、高性价比等特性。
该平台充分汲取了网络异构计算平台多年的技术积累,深度融合无人驾驶场景的实践经验,能够为AI场景提供软硬一体解决方案,加速AI研发和工程化落地。
全面数据服务助客户降本增效
那么,在自动驾驶的数据采集、数据传输、数据存储、数据处理/标注、数据训练/仿真/测试等各个阶段,网络智能云是否都可以提供相应的服务呢?张玮给出了肯定的答案。
据他介绍,网络智能云可以提供自动驾驶领域全部的工具链能力,完整覆盖数据采集、传输、存储、数据处理与标注,以及训练/仿真/测试等自动驾驶业务环节。
例如,在车辆数采环节,网络智能云有专业的数采服务,具备满足安全合规要求的甲级测绘资质。
数据采集完成后,使用网络智能云移动存储设备月光宝盒及适配车机的硬盘,可满足用户对数据传输的时效性和安全性要求。
随着采集数据量的不断增长,数据存储、扩展及成本控制已成为企业的重点考量,为此,网络智能云提供具备海量存储、AI数据处理等能力的对象存储产品。
在自动驾驶工具链的数据标注方面,网络智能云能够输出基于安全合规的数据标注解决方案。
在自动驾驶训练环节,基于百舸AI异构计算平台,通过其AI计算层面的RDMA网络能力、AI存储层面的高速数据读取能力、AI容器层面的虚拟化与隔离能力,以及AI加速层面的训练推理加速能力,不仅可以大幅降低通信延时,提升训练与推理效率,还能在很大程度上帮助企业降低成本。
网络智能云可以为企业客户提供基于海量场景精准度量的云仿真平台,帮助客户实现降本增效。
张玮坦承,自动驾驶数据,尤其是车采数据,量级非常庞大,随着存储规模的不断增大,存储成本也会成为一个棘手的问题。
这种场景很适用网络智能云对象存储产品,因为它不仅具备分级存储能力,可以帮客户控制存储成本,同时轻松实现海量数据扩容,又具备原生的若干AI数据处理能力。
PFS产品是专门针对高性能计算场景的并行文件存储服务,可以提供亚毫秒级访问能力、高IOPS及高吞吐的数据读写请求能力,非常适合AI训练场景,特别是自动驾驶训练数据集存储场景。
利用存储分类,不仅能够精细化满足场景需求,也能提升业务和训练效率,帮助客户降低存储成本。
在数据标注环节,人工标注耗时费力,且标准不一。
通常,云厂商都试图通过工程方法尽量减少人工标注,以提高标注效率。
两种方法一是通过机器自动化标注,然后人工修正部分数据;二是通过仿真模拟生成大量标注好的数据。
“这两种方式,在网络智能云内部都在使用。
对于全新业务场景或经验积累较少的特定业务场景,优先以人工标注为主,以不断积累经验。
之后再不断将能力完善到自动化标注工具中,所以目前已知的众多自动驾驶数据标注场景中,都在使用我们的自动化标注工具。
”张玮说。
最后是路采车产生的海量数据的传输。
张玮指出,通常企业会面临图商资质、采集备案、规范路采、脱敏脱密等业务痛点。
“网络智能云有专业的数据采集服务,不仅有采集车队,还有专业的车辆改装技术团队,可进行深度定制,满足客户的多样化需求。
”张玮补充说:“在具体数据传输中,都是按照安全合规要求进行;对于路采车是以加密硬盘形式离线运送数据,硬盘运送途中有2名具备安全资质的人员互相监督,从而保证数据与操作合规。
”
“AI大底座”加速自动驾驶研发迭代
自动驾驶领域是一个强人工智能CV视觉的新兴高科技领域,大模型训练的支撑不可或缺,网络智能云是如何让大模型发挥作用的呢?
张玮告诉记者,网络智能云多年来一直在AI领域对相关技术能力进行深度研究与打磨,比如,以自动驾驶模型为重点的训练与仿真环节,利用网络多年沉淀的“AI大底座”技术栈,通过异构计算平台的GPU算力,在大幅提升性能的同时提高了利用率,有效解决了目前大模型的“算力恐慌”瓶颈;同时网络智能云还与英伟达合作,对一些特定算法模型进行定向优化,形成AIAK异构计算平台训练加速组件,目前这些能力都是免费提供给客户使用。
谈到网络智能云“AI大底座”异构计算平台的最佳实践,张玮分享道,某头部乘用车造车新势力的套整自动驾驶技术栈都部署在网络智能云上,使用“AI大底座”中的CCE云原生产品,在使用AIAK优化加速组件以及GPU资源共享调度下,资源利用率提升了2.5倍以上,在其自动驾驶业务研发方面发挥了重要作用。
另一个案例是国内一家头部汽车芯片公司,几年前该公司开始使用网络智能云设计的一套混合云架构,目前大部分核心训练任务都在网络智能云上完成。
在“AI大底座”技术栈的赋能下,高效支持了该公司训练等相关任务,加速了产品研发迭代、芯片上车和SOP量产速度。
大模型虽好,但必须用数据来驱动。
数据量不足,就会影响自动驾驶感知大模型的训练效果。
凭借多年自动驾驶行业实践,特别是来自大量Apollo量产车在北京、上海、广州、武汉、重庆的道路数采自动驾驶数据,基于网络文心大模型的全流程数据训练,保障了其模型的精准性。
“我们还将相关能力打磨成了产品和解决方案,可以为有数据采集、标注、训练需求的客户提供全套数据闭环解决方案,”张玮补充道。
结束语
“云智一体,深入产业”是网络智能云的战略,基于“AI大底座”和文心大模型,以及行业领先的全套自动驾驶工具链,网络智能云先后帮助传统车企、新势力、商用车和解决方案供应商等行业用户实现了自动驾驶业务落地。
张玮最后表示,AI技术赋能网络智能云正在加速自动驾驶由量变到质变的进程。
未来,网络智能云将持续深耕包括“数据闭环-自动驾驶工具链-大模型-AI大底座”在内的自动驾驶研发解决方案,帮助汽车行业实现智能化升级。
5G专网,剖析三大运营商的战略布局
2021年7月24日,由江苏省未来网络创新研究院主办、SDNLAB承办的2021中国5G网络创新论坛上,多位嘉宾提到5G专网的发展与应用。
SDNLAB对此进行了整理,以飨读者。
会上,中国电信研究院行业应用研究所赵婧博表示,随着数字化转型的深入,垂直行业面临着IT架构变化、云网融合、云边协同、OT/IT/CT融合等挑战,传统专网方式在覆盖能力、传输能力、连接能力、可靠性、安全性、商业模式创新等方面无法很好满足行业客户的业务需求。
传统专网模式下,企业从生产、管理、物流到办公需要部署多张独立专网,运营成本高,建设周期长,另外由于各种制式的网络来自不同供应商、不同时期,导致后台无法连通、频段存在干扰。
5G专网高度契合数字化转型需求,是OT+IT+CT的全面融合与提升,也将是5G垂直行业应用的第一爆点。
根据3GPP标准定义,5G专网分为独立部署模式(SNPN)和公网集成模式(PNI-NPN),其中公网集成模式又根据与公网共享程度不同分为“与公网部分共享(共享RAN或共享RAN及核心网控制面)”与“与公网端到端共享”。
独立部署模式是国家提供专用的5G频段,用于行业用户自建5G专网。
公网集成模式是依靠运营商,利用边缘计算、网络切片等技术为企业建设/租赁专网。
网络切片还是专用频谱
分配到专用的5G频谱资源,企业想要独立建网还要拥有基站、核心网等整套网络资产,在建网过程中投资的成本很高,普通企业特别是小型企业无法承担购买和部署全套5G网络的费用,另外后期还需要一些专业的运维人员来维护网络。
企业自建5G专网
但通过此方式建立的专网隔离好、时延低、安全性高,网络环境更加自主可控,可以不依赖于运营商提供自己所需的服务。
网络切片是利用虚拟化技术,将5G的核心网、无线网分割成多个部分,分别支撑不同业务,保证各个切片网络之间互相隔离,从而保证专网的时延和可靠性。
企业可以根据自身业务需求,向运营商定制网络切片服务,无需自建网络基础设施,节省了建设网络的成本,后期运维成本也较低。
同时可以定制不同的网络切片,在不同程度上共享专网,不需要分配单独的频谱资源。
但利用切片技术其实是属于虚拟专网,尽管在不通切片上,但物理网络、供电、传输系统等还是同一个,在安全性及隔离性上没有自建专网高。
那么5G专网究竟是分配专用频谱还是采用切片技术好比较好?
自建专网对企业实力有着一定的硬性要求,且专用频谱难以获取。
公安、军队等对安全性要求高的行业会选择自建专网模式,而传统的一些企业对这方面要求没那么严苛,会选择利用切片技术的公网集成模式。
赵婧博表示,5G专网不光对于行业是一个机会,对于运营商来说同样也是重要的转型契机。
针对不同行业的用户,需要结合具体的业务场景和业务需求,打造满足不同行业需求的5G专网,从而让5G最大化的使能千行百业。
三大运营商的5G专网
三大运营商的5G专网业务根据不同客户的需求,采取不同的服务模式。
中国移动5G专网包括优享模式、专享模式、尊享模式;中国电信推出5G专网致远模式、比邻模式、如翼模式;中国联通推出5G虚拟专网、5G混合专网、5G独立专网产品。
中国移动
中国移动通信研究院姜怡在会上介绍了中国移动基于“优享、专享、尊享”的5G专网产品体系。
优享模式
通过QoS、网络切片技术等技术手段实现业务优先保障和业务隔离,满足网络速率、时延、可靠性优先保障的需求,达到业务逻辑隔离、按需灵活配置的效果。
该种模式面向大部分广域业务和部分局域业务,如工业园区视频监控、人员及物品跟踪、数据采集类业务等。
专享模式
在公共网络基础上提供定制化无线网络(如无线网络增强覆盖),通过边缘计算技术,实现数据流量卸载、本地业务处理,满足数据不出场、超低时延等业务需求,为客户提供专属网络服务。
尊享模式
尊享服务模式通过基站、频率、核心网设备的专建专享,进一步满足超高安全性、超高隔离度、定制化网络的需求,达到专用5G网络、VIP驻场服务的效果,适用于局域场景,如矿区、井下等。
中国移动“果核”产品是基于一体化集成模式,按需集成UPF、5GC、边缘计算、小型SPN、BBU、IMS等能力的5G专网定制化集成解决方案。
在中国移动对外公布的2021年上半年业绩报告中显示,中国移动上半年全网共签约 900 个省级区域特色项目,拓展 452 个 5G 专网项目,合同金额超千万,DICT 大单 122 笔,带动DICT 增量收入超 60 亿元,政企客户数达到 1553 万家。
中国移动与阿里巴巴合作建设了5G智慧园区专网,在杭州移动布设的5G网络基础上,XG实验室研发出一套全新的5G专网安全架构体系,大幅提高5G专网的安全性和易用性。
据阿里介绍,达摩院XG实验室通过自研基于5G核心网的EAC(Enterprise Access Controller),创新实现5G鉴权信息与企业认证信息的打通,搭建起一个安全、智能、灵活扩展的5G企业专网。
中国移动还与南方电网展开了合作,针对深圳市南方电网业务中智能分布式配电自动化(智能分布式配网差动保护和配网自动化三遥)、电网应急通信保障及配网计量等4个业务特性,基于5G SA架构和切片技术提供系统性的5G指挥电网解决方案,该案例旨在 探索 面向垂直行业的5G创新业务及需求,验证5G网络及业务的能力,并为5G商用奠定基础。
中国电信
中国电信研究院陈运清表示,中国电信 5G 专网是“网定制、边智能、云协同、X 随选”融合协同的综合解决方案,“网是基础、云为核心、网随云动、云网一体”,致力于“云改数转”服务产业数字化转型。
中国电信推出三类模式:以“致远、比邻、如翼”三类服务模式为基础服务不同行业客户,实现“云网一体、按需定制”。
致远模式
致远模式是面向安全组网型政企客户提供的定制网服务模式。
该模式基于中国电信5G 2B专网资源,通过VPDN、QoS、灵活资源调度、DNN定制和切片等技术,为交通、物流、教育、农业、卫健、应急、政法、居民服务、住建、能源、工业等11个行业客户提供端到端差异化保障的网络连接服务,同时可以直通天翼云为客户提供丰富的行业应用与服务。
典型案例:深圳智慧警务
中国电信联合深圳公安率先 探索 5G专网技术和警务实战系统的应用结合方案,可满足新型警务设备(如无人巡逻车,警务AR,警用无人机)需要大范围移动视频回传;满足支持立体化、快速部署要求,支撑警务快速部署能力;满足警务连接高可靠和安全隔离要求,提供专网隔离,组网安全对接,空口优先保障。
比邻模式
比邻模式是面向时延敏感型企业客户提供的定制专网服务模式。
该模式基于5G 2B专网资源,通过多频协同、载波聚合、超级上行、边缘节点、QoS增强、无线资源预留、DNN、切片、边缘节点等技术的灵活定制,为企业客户提供一张带宽增强、低时延、数据本地卸载的专有网络,配合MEC、天翼云,最大化发挥边缘计算、云边协同优势,为企业客户的数字化应用赋能。
典型案例:广东美的智慧园区
美的向个性化生产、柔性化制造转型方向明确,但当前业务面临较多问题,中国电信携手美的打造了基于5G+MEC支撑智慧工厂应用场景。
如翼模式
如翼模式是面向安全敏感型企业客户提供的定制专网服务模式。
该模式基于中国电信5G 2B专网资源,充分利用超级上行、干扰规避、5G网络切片和边缘计算等技术,按需定制专用基站、专用频率和专用园区级UPF等专用网络设备,为客户提供一张隔离的、端到端高性能的专用接入网络。
同时可以按需定制MEC与行业应用,对专网提供专属运维支撑服务。
典型案例:青岛国网
中国电信联合华为、青岛国网首次依托边缘计算及5G端到端切片实现毫秒级精准负荷控制装置负荷量上送及整组传动测试试验,测试结果显示5G通道时延满足毫秒级需求。
随着测试的成功落地,国网全国范围内首套5G公网专用模式下的毫秒级精准负荷控制装置在青岛供电公司投入试运行。
中国联通
中国联通研究院黄蓉介绍道,中国联通的5G专网分为虚拟专网、混合专网、独立专网三种部署方式。
5G虚拟专网
基于中国联通 5G 公众网络资源,利用端到端 QoS 或切片技术,为客户提供一张时延和带宽有保障的、与中国联通公众网络普通用户数据隔离的虚拟专有网络。
适用于广域专网业务,包括智慧城市、智慧景区、新媒体、高端小区及办公、智能交通(包含自动驾驶)等场景。
5G混合专网
以5G数据分流技术为基础,通过无线和控制网元的灵活定制,为行业用户构建一张增强带宽、低时延、数据不出园的基础连接网络。
核心网用户面网元UPF为行业用户私有化部署,无线基站、核心网控制面网元根据客户需求灵活部署,为用户提供部分物理独享的5G专用网络。
适用于局域开放园区,包括交通物流/港口码头、高端景区、城市安防、工业制造等。
5G独立专网
采用专有无线设备和核心网一体化设备,为行业用户端到端构建一张与公网数据完全隔离的独立专网,包括gNB、AMF、SMF、UPF、MEC等5G系统的所有网元功能。
适用于局域封闭区域,包括矿井、油田、核电、高精制造、监狱、军队等。
在山西霍州庞庞塔煤矿800米的井下,中国联通搭建了全国第一张井下5G专网,解决了煤矿行业安全生产的问题。
中国联通与湛江钢铁案也展开了合作,业务首先通过基站专用无线通道到达企业的5G核心网,然后路由到了自己的业务服务器,从而实现了企业业务和公网业务的隔离。
湛江钢铁通过投建5G核心网打造了智能化钢铁工厂技术平台,目前已实现了炼钢厂风机在线检测与诊断、焦炉四大车、硅钢移动操控、机器人远程操控、智能头盔远程指导等应用场景的落地。
到这里,相信大家对于5G专网架构有了一定的了解,其实三大运营商5G专网的架构基本一致,都可以灵活满足行业客户的差异化诉求。
挑 战
5G专网市场空间巨大,部署的案例数量也在不断增加,同时也面临着一些挑战。
1.企业能否自建5G专网,最重要的还是频谱的获取,频谱资源有限,并非随需随得。
在大多数国家,频谱被视为一种自然资源,其使用受到国家主管部门的控制,国家主管部门根据国家的需求分配资源。
GSMA建议监管机构应避免在关键的频段中为垂直市场留出频谱,其认为这种做法将阻碍5G最大使用效率的全面释放,并浪费频谱资源。
2.市场上行业项目需求差异性较大,产品标准化不足,针对具体项目,运营商难以快速构建解决方案并快速开通。
3. 赵婧博表示5G专网的ToB能力尚不完备,短板需要逐步补齐:5G网络差异化能力不完备;行业和场景化解决方案未产品化;定制化化规建维优营需完善;商业模式需创新。
虽有挑战,但总体来说5G专网发展前景巨大,GrandView Research预计全球5G专网市场规模在2020年至2027年期间的复合年增长率(CAGR)为37.8%,到2027年达到71亿美元。
市场竞争也十分激烈,除了运营商,云服务商、设备提供商、系统集成商等都有意抢占5G专网市场。
相信随着技术的升级,未来5G专网将会在各行业呈现蓬勃发展态势。
文章转发自SDNLAB
解析云原生 2.0 架构设计的 8 大关键趋势
云原生2.0是企业智能升级新阶段,企业的云化从“ON Cloud”走向“IN Cloud”,当一切应用都生于云,长于云,云架构的迭代也会进入一个新的阶段。
围绕云原生2.0,华为云首席架构师顾炯炯提出了8个关键模式: 分布式云,混合调度,应用驱动基础设施,存算分离与数据治理自动化,可信、平民化DevOps,基于软总线的异构集成,多模态可迭代AI模型,全方位立体式云安全。
分布式云
随着云化和数字化渗透到制造类、工业互联网类场景,5G技术在to B领域应用的快速成熟,以及物联网 、AI技术的成熟,现在云的服务对象不仅是企业的后台IT支撑系统,它延伸到了前端的“现场”,类似于工业场景里的近场计算。
如果还是将所有的数字化应用系统都放在集中的数据中心,它的时延无法满足实时生产系统的要求。
另外,有一些行业的敏感数据不能从现场或者数据产生地直接简单的上传到云端,它存在数据安全、隐私保密的问题。
再比如医疗里的基因大数据、视频监控等场景,如果所有数据都上传到云端,带宽的成本非常高昂。
所以,我们必须要引入云边端协同的分布式概念,构建分布式云的架构。
这个架构可以和核心侧架构配合,覆盖核心区域、热点区域、本地机房、业务现场等不同接入时延敏感度,数据隐私合规要求及数据上云带宽成本的应用上云场景。
举个例子,通过这样的方式,可以把云端的很多算力和计算逻辑,甚至是训练好的AI模型推送到更加靠近用户数据产生地的位置上,进行就近的计算,将海量的数据做一定的收敛、分析、脱敏等,再发送到云端进行闭环的处理和控制反馈。
混合调度
在很多算法专家的努力下,华为云通过瑶光调度平台大大提高了资源的分配效率,达到甚至超过了80~90%的程度,已经接近于业界的领先水平。
但是资源的实际利用率仍然处在一个比较低的水平,当然业界平均也不是特别理想,领先者差不多20%左右。
为了解决这样的问题,华为云引入混合调动、柔性计算的能力,将在线和离线的不同优先级的业务,进行QoS感知的智能调用,实现资源利用率最大化。
柔性计算不仅仅具备弹性的特征,保证了横向的资源扩展,而且它也能实现纵向资源规格的可大可小。
目前,消费者云已经在内部验证了柔性计算的能力,可以在不改变上层业务的前提下提高利用率,实现性能的倍增。
关于柔性计算的更多内容参考 华为云首席架构师顾炯炯:敢为人先,探索架构创新之路如何走。
应用驱动的基础设施
如今,软硬件的垂直整合,特别是靠近操作系统底层的硬件和云服务基础设施层的服务软件之间的纵向整合能力,成为新的趋势,它把基础设施服务底层的硬件和相应的服务封装层打包在一起。
云服务厂商可以设计研发定制芯片,比如存储和网络的硬件卸载的芯片、匹配深度学习逻辑处理框架的芯片等等。
如果有能力构建这样的软硬件垂直整合的能力,就能拥有相比其他云服务商更优的价格优势,也得以呈现自身独特的硬件、芯片优势。
有了应用驱动的基础设施之后,根据应用的性能SLA需求,来定义是使用与软件完全解耦的通用硬件资源,还是匹配应用场景特殊诉求的软硬件深度协同的卸载卡或异构计算资源。
这也能发挥华为软硬件兼长的优势,我们在硬件领域有不少核心创新:一个是 SDI, 叫软件驱动的基础设施,也就是把分布式存储\分布式网络,还有Hypervisor的一些系统能力从服务器卸载到PCI卡上,也即SDI/擎天卸载卡。
二是鲲鹏硬件支撑云存储和数据湖的处理, 鲲鹏单核处理能力虽弱于X86,但核密度则达到X86 CPU的2倍,因此在对IO及内存带宽作为其性能瓶颈的大数据及分布式存储场景,是比X86更好的选择。
同时,我们也在用自研的升腾NPU取代GPU构建AI平台, 它在深度学习的训练推理中体现出更高的能效比。
存算分离和数据治理的自动化
未来企业的所有的数据孤岛都将汇聚到云端的数据湖,进行统一生命周期的治理和管理,所以必须要解决数据计算分析的资源需求。
数据湖里有各种各样的结构化、半结构化、非结构化的数据,但这些数据的分析计算和底层的存储容量之间的需求,并不是线性匹配的关系。
比如对于深度学习的场景,数据量需要不断的计算迭代,它需要更多的计算能力,相对较少的存储需求。
因此在不同的业务场景下,数据分析计算和存储的要求是不一样的,最终一定要走向存算分离。
在存算分离领域里面,华为云已经积累优势,从最早的去中心化的分布式存储引擎FusionStorage开始,七年磨一剑,我们从内部验证到向外部的推广,从块存储延伸到对象存储、文件存储、分布式的集群数据库,把原先在开源架构里五花八门的底层存储技术引擎架构实现了统一。
经过实际的测试,在业界同样支持存算分离数据湖架构的云场景中,华为云体现了领先30-60%以上性能优势。
再就是数据治理自动化。
现在的数据治理的还是人力密集型工作,整个过程非常低效,很难满足很多行业的要求。
所以在这个架构模式里面,除了存算分离的数据库,还要构建数据治理自动化。
通过引入AI的技术,将数据的获取、清洗以及最终数据知识的提取,主题库的建立、数据目录的发布,都实现完全的自动化。
用户只需要指定入湖的数据源和所属业务主题域,系统自动化创建入湖任务,底层资源根据入湖数据量自动扩缩容,智能完成入湖数据的安全等级、分级分类、隐私等级等数据标签的自动识别打标。
这个能力对企业数据资产的快速沉淀能力的构建是至关重要的。
可信、平民化DevOps
通过将一系列安全可信措施嵌入到敏捷开发运维模式, 构建所谓的DevSecOps流水线,实现敏捷快速迭代与严格质量管控兼顾;并通过低代码/无代码实现更多行业应用资产的沉淀, 将行业应用的开发效率再上一个新台阶。
Devops实现了应用的敏捷开发,但在面向政企时,还需要满足应用质量和安全可信的要求。
因此在遵循DevOps的同时,将安全能力集成到其中,升级成为DevSecOps。
使用安全左移、默认安全、运行时安全、安全服务自动化/自助化、基础设施即代码(IaC)等技术, 实现管理与协同、设计与开发、CI/CD、应用管理、运维、安全可信等各个环节的一体化趋势。
此外,由于传统政企开发投入有限,需要通过低码化无码化,来实现对应用进行快速构建及改造。
华为云低代码平台AppCube可支持多种页面类型和丰富的组件能力,基于它的服务能力编排和业务流程无代码定制,可实现灵活流程触发方式、多种权限配置方式、自定义业务编排等。
基于软件总线的异构集成
即帮助企业构建可平滑演进的IT架构, 实现老旧应用与新建云原生应用,线上与线下应用的平滑融合集成。
云原生下,企业很多应用都要进行微服务解耦,遵从微服务的治理架构,进行水平扩展的架构的设计,甚至把原来的单体架构逐步进行拆解。
但这个过程不是一蹴而就的,尤其是那些包袱比较重的传统行业,他们还面临很多现实的挑战。
所以我们要在企业传统IT架构和云原生架构之间搭建无缝的桥梁,在确保企业业务连续性最大化的前提下,实现平滑的切换和演进。
以Roma Connect为例,它可以通过软总线的形式,把云原生和非云原生的传统世界无缝的连接起来,支持异构的应用和数据库源的对接,也可以对接到云上开发平台、数据湖,实现无缝互通。
在架构的平滑演进中,首先需要将传统非云原生应用封装为REST接口与云原生应用对接,通过统一接口服务层APIC进行开放,业务云原生应用通过标准接口即可获取老系统信息。
同样的机制可以将线上线下,及部署在多云环境上企业IT系统的无缝互通。
其次传统Oracle/Sybase等传统数据库及中间件与设备协议接入上云:云上云原生应用通过云上标准API调用、数据库访问、消息订阅等方式即可获取传统数据。
最后,通过全生命周期的API管理能力,包含从设计、发布、上架、治理的全过程,帮助企业构建整个跨地域,跨组织、跨部门的应用网络,并沉淀行业应用资产。
多模态可迭代的AI模型
AI在行业落地面临的问题是能够获取到的训练数据是非常有限的,单纯的依赖数据驱动的深度学习训练,使得行业AI模型是非常难以泛化、通用化。
预训练大模型是解决AI应用开发定制化和碎片化的重要方法。
通过一个AI大模型实现在众多场景通用、泛化和规模化复制,减少对数据标注的依赖,赋能AI开发由作坊式转变为工业化开发,比如华为云之前推出的盘古大模型。
另外也要引入知识计算的能力, 类似于把知识图谱这样的能力和基于感知计算的数据驱动的AI模型互补结合起来。
也就是说把知识模型和数据模型,在数据样本相对缺少的情况下结合在一起,更好服务于行业AI的落地。
帮助企业打造自己的知识计算平台,整合分散在不同系统、多种形态的企业数据,形成带有建议性的知识体系。
全方位的立体式云安全
1.0阶段的云安全服务更多的是孤立的安全能力:虚拟化安全,hyporvisor防逃逸能力,云防火墙能力其实都是割裂的,并没有跟所有的云服务形成互锁。
全方位的立体式运营安全通过打通离散的云安全服务能力,将其与其他云服务及客户应用形式互锁, 构建安全Build-in的云原生应用,以及引入可信智能计算,解决跨行业数据隐私保护与流通碰撞、价值挖掘之间的矛盾。
首先通过可信智能计算提供四个核心能力,进行安全可信的数据计算。包括:
1、跨组织、跨行业的多方数据融合分析和多方横向与纵向联邦学习建模;
2、支持对接主流数据源和深度学习框架;
3、支持安全多方计算(例如同态加密,差分隐私等),并支持用户自定义隐私策略;
4、基于区块链的数据计算轨迹的可追溯可审计。
此外,为了全方位安全,还需要将全栈云(及其子集)下沉部署(连线/非连线),彻底解决敏感行业上云安全顾虑,以及将全栈云服务、企业新开发云原生应用、aPaaS/SaaS等与全栈云安全能力互锁,为用户构建体系化的云安全平台。
本文分享自华为云社区,作者:技术火炬手。