什么是GPU云服务器?
GPU云服务器,全称为GPU云计算,是一种专为利用GPU的强大计算能力而设计的云服务。
它具备实时高速的并行和浮点计算功能,特别适用于涉及3D图形、视频处理、深度学习、科学计算等领域。
相较于传统服务器,GPU云服务器提供了标准化的管理方式,用户无需承担计算压力,能显著提升产品的处理效率和市场竞争力。
GPU云服务器的应用场景广泛,包括深度学习的训练和推理、图像和语音识别,金融建模、地震分析、基因组学研究、流体动力学模拟,高清视频转码、安防监控、大型视频会议,三维设计、动画制作、工程仿真、医学影像处理,以及游戏测试等。
其性能卓越,相较于传统GPU,它能充分利用并行性,展现高吞吐量和低延迟,尤其在科学计算中,性能提升可达几十倍。
使用GPU云服务器的最大优点在于,用户无需预先投资硬件,只需按需购买,即可享受服务,避免了硬件更新带来的额外费用和初期投入。
这使得基础设施建设成本得到有效控制,为企业节省了成本,提供了更高的灵活性和效率。
云计算主机关闭/开启如何实现节能
A.能耗的根源 云计算系统有几个不可或缺的部分。
首先,它需要大量的硬件设备来存储并处理数据。
这些硬件设备包括放置在机柜内的计算和存储服务器,以及处理器、内存、硬盘等服务器组件。
其次,在服务器之间,服务器与用户之间需要连接,所以网络也必不可少,它是连接用户与计算、存储等云资源的桥梁。
此外,数据中心还需要专门的软件来监控和管理云计算的基础设施,这些软件就是云管理系统(简称CMS)。
最后,云服务商还需要安装合适的应用软件,帮助用户使用云服务。
这几个部分都需要消耗大量的能源,也都会损失和浪费很多能源,比如在夜间温度较低时,散热系统仍在全速运行,或者系统在运行,却没有为用户提供服务。
2003年,单机柜服务器的功率密度在0.25千瓦到1.5千瓦之间,而到了2014年,这个数字上升至10千瓦,预计到2020年会上升至30千瓦。
而且,大多数服务器空载时的功率超过峰值功率的50%,服务器的平均利用率一般只有10%到50%。
因此,一部只以20%性能运行的服务器的能耗,可能相当于它满载时能耗的80%。
考虑到仅在2013年最后一个季度,新服务器的出货量就超过250万台,提高服务器的能效就成为第一要务。
而在网络环节,主要有3个地方会消耗能源:数据中心内部的连接、不同数据中心间的网络连接,以及让外部用户访问的固定网络和无线网络。
在目前的数据中心,网络成本占所有运营费用的10%,这个数字还可能随着互联网流量的增加上涨到50%。
如果服务器空载,就会耗费大量能源。
如果网络架构不适合云应用,信息的传输途径也会发生改变,网络的某些部分就无法得到充分利用,能源浪费就会加剧。
由于信息技术的能耗越来越高,在数据中心的设备中,监控和管理云计算的基础设施就变得很重要,云管理系统的作用就是提高数据中心的能效。
如果使用不当,云管理系统本身也会浪费能源。
应用设备(如Java虚拟机)的运行通常都会产生日常能源消耗,如果应用设备性能不佳,就需要更多服务器,消耗更多的能源。
B.硬件优化之路 提高能效的第一步是升级网络设备,增加节能模式,减少网络设施在未被充分使用时的耗电量。
如果能把未使用的端口、连接和交换机完全关闭,它们就不会因为空转而耗能了。
升级后,设备的热载荷也会下降,这又会降低散热系统的能耗,提升系统的稳定性。
不过,只调整网络设备是不够的,因为当网络连通性降低时,系统性能也会下降。
所以,还需要调整网络结构,让网络流量可以沿着多个路径传播,或只通过少数几个高能耗的关键路径发送,而网络中的其他部分则进入低能耗模式。
这种方案还可用于数据中心间的网络,充分挖掘网络带宽,因为批量传输所需的成本比单独传输要低。
除了降低数据传输的能耗,优化网络结构还可以降低基站的发射功率——基站是云端与终端之间传输信息的桥梁。
连接手机的大型基站覆盖面积较大,基站和手机间的距离通常也很远,所以需要相当大的发射功率,才能保证大范围内的手机通信,但这样一来,能耗无疑很高。
为了降低能耗,我们可以充分利用与用户更近的小型基站。
现有的研究表明,在城市地区使用小型基站,可以使空载模式下的能耗降低至原来的1/46。
服务器和网络设备相似,如果可以根据负载自动调节功率和性能,就能降低能耗。
今天的CPU、内存和硬盘都可以选择负载和空载两种模式,并相应调节电压和频率以降低能耗。
为了延长硬盘空载时间,CPU会优先从缓存中读取信息,只有在缓存中找不到数据时,服务器才会访问硬盘。
缓存本身也能优化甚至关掉部分未用缓存。
最终,新的低功耗缓存技术可以和现有技术相结合,在保持性能的同时降低能耗。
服务器机柜的设计也会影响散热和供电的能效。
研究人员发现,与使用机房空调相比,能对特定组件进行局部散热的服务器机柜有更好的节能效果。
比如,通过一些特殊的冷却技术,可消除由处理器产生的热量。
此外,还可以通过调节组件本身(比如调节内存数据吞吐量),避免热损失的发生。
从供电环节开始限制能量输入,或对数据中心的能耗设置一个上限,也可以降低单一组件或整个服务器机架的能耗。
最后,使用紧凑的服务器配置,直接去掉未使用的组件,也是减少能量损失的好办法。
C.云管的秘密 使用云管理系统的主要目的,是对基础设施(包括服务器、虚拟机和应用程序)进行调度以实现负载平衡。
虚拟机是体现云服务优越性的最佳范例,它借助软件模拟出计算机系统,具有硬件功能,可以在完全隔离的环境中运行。
有几种虚拟机的使用方法能提高云计算的能效。
首先,可以让虚拟机根据负载情况重新调配资源;其次,可以为虚拟机的布置选择能效最高的物理机;最后,可以将未充分利用的虚拟机迁移至数量更少的主机上,并把一直未使用的虚拟机关闭。
不过,这些步骤需要CPU软件功耗模式来实现。
该模式下,软件和硬件彼此协调以共同调整能耗。
而且,服务器本身也可以通过调整实际负载来降低能耗。
研究表明,即便使用简单的试探法(比如在服务器持续空载一段时间后关闭服务器),也能节约大量能源。
下一步措施是在更宏观的范围内实施管理措施,比如合并多个数据中心。
但是,这会增加虚拟机迁移所需的开销,在输入输出两端都要消耗能量。
为了弄清楚合并数据中心能否提高能效,我们可以借助一些模拟工具,如CloudSim,它可以评估云计算管理系统消耗和节约的电量,并进一步比较服务质量的变化。
显然,如果既能降低能耗,又不会影响用户使用云服务,这种合并就有利于降低云计算的能耗。
云管理系统不仅可以控制服务器,还可以控制网络系统,甚至控制散热和供电,因为云管理系统“知道” 需要哪些资源,不需要哪些资源,因此可以选择合适的虚拟技术,并在服务器空载时关闭散热设备。
云管理系统的建立方式也很重要,采用模块化方式来建立云管理系统就很有优势,因为这允许技术人员在实际需要某个模块时加载相应模块。
比如,在需要监控某些特定组件时,技术人员可以在原有系统中添加某些插件;而在不需要监控这些组件时,技术人员也可以终止运行这些插件。
同时,研究人员也在开发高能效的软件,降低应用程序在空载状态下的能耗。
比如,限制用户远程唤醒服务器可以延长空载状态时间,尽量向用户发送消息而非让用户或客户端向云服务器主动发起请求,可以让软件在真正需要其运行之前保持休眠,对资源(如磁盘)的批量访问也可以减少不必要的唤醒。
不在现实世界部署高能效方案并没有看上去那么简单。
服务器组件的低能耗模式只有在服务器长期空载的情况下才有益处,而这种情况在实际使用中并不常见。
而且,尽管服务器在执行轻量级任务时的使用率很低,但为了满足访问高峰时的需求,仍有必要保持适当的“弹性”。
因此,可自我扩展的服务器组件必须与软件组件相关联,否则调节CPU模式的技术会被错误应用,导致CPU运行频率过低,应用程序的运行时间变长,最终导致CPU的整体能耗上升。
另一个目标是让空载组件的能耗接近于零,这可以通过合并未充分利用的服务器来实现。
D.治标又治本——整体解决方案 为云计算提供支持的数据中心是一套高度耦合的系统,几乎可以视作一台大型计算机。
因此,除了从数据中心的每个部分着手,降低能耗之外,还得把整个数据中心视作一个整体,分析各个基础设施之间的相关性,进而寻找节能方案。
应用设备是云计算中可管理的最小单位,但它们的性能可以影响所需服务器的数量,从而产生多米诺效应,进一步影响网络规模和支持性的设备——比如散热和供电设备的数量。
因此,为目标应用程序选择适当的硬件资源,可能会对数据中心的总体能耗产生重大影响。
这里的实例包括,用GPU而不是CPU运行可以高度并行的应用程序(有些程序可以在成千上万个处理器上同时运行,节省运算时间)。
和CPU相比,GPU上的计算单元非常密集,可以同时执行很多任务,更适合并行计算,同时能耗更低。
但是,使用新的硬件需要对应用程序进行更深的研究和更细致的分级,在特定的应用程序和潜在的硬件资源之间建立联系。
云计算的实现需要多种基础设施的协同,这又需要建立一个灵活、全面、监控能力出色的云管理系统。
作为最基本的要求,云管理系统必须要监测数据中心中正在运行的进程、硬件性能、运行状态、数据规模等多种信息。
管理系统还要对分布在不同地理位置的数据系统进行优化,让不同的云设施合并。
这些方法既需要单个数据中心中的软件和硬件实现良好的交互,也需要让全球各地的数据中心互换信息、负载和数据。
要实现这些目标还是要依靠网络,利用网络可以把计算资源和数据存储资源放在可以利用可再生能源或凉爽的地方,降低散热产生的能耗。
当然,优化网络设备的同时也需要改进其他设备和组件。
比如,数据和处理器距离用户很远且分布不均,会导致云服务的性能大打折扣,而采用好的设备和云管理系统能降低网络流量,也就可以解决这个问题。
除了改进数据中心,将数据中心整合到云计算概念里能在更大规模上提升能效。
未来我国云计算发展要掌控好三个核心关键要素是
中国的云计算发展在未来将围绕三个核心关键要素展开:首先,是安全系统的构建。
这分为三个层面:技术层面,确保数据保密性、完整性和可用性;管理层面,通过提升安全控制系统的管理水平来增强云计算的安全性;以及信用体系层面,通过信用体系建设运行和认证保护客户数据的安全性。
其次,是核心技术和关键技术的突破。
袁毅生强调,在建立云中心、公共云、行业云等过程中,涉及到国民经济和民生的重要领域,中国必须以自主服务器为核心,在海量存储和其他安全技术上取得突破,从而有机会领先于世界巨头。
最后,是实现自主可控。
自主可控包括自主研究开发、自主知识产权,这是中国云计算建设的重要因素。
在核心装备如云服务器、云存储、云客户端上,以及在云管理、云操作系统、云应用、云安全、云计算开发服务平台等各个方面实现自主研发和技术突破,同时提升管理和信贷层的自主控制能力。
通过以上三个关键要素的掌控,中国有望在云计算服务领域实现新的健康发展。