引言
随着数据中心变得越来越复杂和要求苛刻，对高速互联技术的迫切需求也在增长。 InfiniBand 作为一种领先的互联互通技术，正在迅速成为下一代数据中心的理想选择。本文将探讨 InfiniBand 的优势、架构和在不同应用中的使用情况。
InfiniBand 概述
InfiniBand 是一种高性能、低延迟、可扩展的互联技术，专为数据中心和高性能计算 (HPC) 环境而设计。它使用光纤电缆或铜缆传输数据，能够实现高达 200 Gb/s 的带宽，而延迟仅为微秒级。InfiniBand 技术基于一种称为通道适调 (CA) 的调制技术，该技术可以最大程度地提高带宽利用率和减少延迟。 InfiniBand 架构由以下组件组成预报、分子模拟和基因组学等领域。机器学习和人工智能 (AI)： InfiniBand 为机器学习和 AI 模型的训练和推理提供了快速、可靠的互联。它可以加速数据传输和处理，从而提高模型的训练和推理速度。金融科技： InfiniBand 在金融科技行业中得到广泛应用，因为它可以提供在线交易和高频交易所需的低延迟和高可靠性。
结论
InfiniBand 是一种革命性的互联技术，正在重塑下一代数据中心。它的高带宽、低延迟、可扩展性和可靠性使其成为处理数据密集型和延迟敏感型应用程序的理想选择。随着数据中心变得越来越复杂和要求苛刻，InfiniBand 将继续发挥至关重要的作用，推动创新和提高性能。
一文掌握InfiniBand技术和架构
InfiniBand技术通过简化服务器之间的连接，同时支持服务器与远程存储和网络设备的连接，极大提升了数据传输效率。
OpenFabrics Enterprise Distribution (OFED) 是一组开源软件驱动，为InfiniBand Fabric提供用户级接口程序。
OpenFabrics Alliance (OFA) 发布了OFED的第一个版本，Mellanox OFED支持Linux和Windows操作系统，并提供诊断和性能工具，用于监控InfiniBand网络运行状态。
【文章福利】推荐Linux内核源码交流群【】，共享学习书籍、视频资料，前50名可进群领取价值600的内核资料包。
OpenFabrics Alliance致力于开发并推广软件，通过将高效消息、低延迟和最大带宽技术架构应用到最小CPU开销的应用程序中，实现最大应用效率。
2004年，OFA成立，最初是OpenIB联盟，致力于开发基于Linux的InfiniBand软件栈。
2005年，OFA支持Windows操作系统，使软件栈跨平台。
2006年，OFA扩展其章程，包括对iWARP的支持。
2010年，OFA增加了对RoCE (RDMA over Converged)的支持，通过以太网提供高性能RDMA和内核旁路解决方案。
2014年，随着OpenFabrics Interfaces工作组的建立，OFA再次扩大，实现对其他高性能网络的支持。
1999年开始起草InfiniBand规格及标准规范，2000年正式发表。
InfiniBand Architecture (IBA) 在集群式超级计算机上广泛应用，全球HPC高算系统TOP500大效能的超级计算机中有相当多套系统都使用上IBA。
除了InfiniBand Trade Association (IBTA) 9个主要董事成员CRAY、Emulex、HP、IBM、intel、Mellanox、Microsoft、Oracle、Qlogic外，其他厂商如Cisco、Sun、NEC、LSI等也在加入或重返InfiniBand阵营。
为了满足HPC、企业数据中心和云计算环境中的高I/O吞吐需求，新一代高速率56Gbps的FDR (Fourteen Data Rate) 和100Gpb EDR InfiniBand技术已广泛应用。
InfiniBand大量用于FC/IP SAN、NAS和服务器之间的连接，作为iSCSI RDMA的存储协议iSER已被IETF标准化。
相比FC，InfiniBand在性能、延迟和兼容性方面具有优势。
InfiniBand采用PCI串行高速带宽链接，从SDR、DDR、QDR、FDR到EDR HCA连接，可做到极低时延，基于链路层的流控机制实现先进的拥塞控制。
InfiniBand采用虚通道(VL)方式来实现QoS，虚通道是共享物理链接的相互分立的逻辑通信链路，每条物理链接可支持多达15条的标准虚通道和一条管理通道(VL15)。
RDMA技术实现内核旁路，提供远程节点间RDMA读写访问，完全卸载CPU工作负载，基于硬件传出协议实现可靠传输和更高性能。
相比TCP/IP网络协议，InfiniBand使用基于信任的、流控制的机制来确保连接的完整性，数据包极少丢失，接受方在数据传输完毕后返回信号来标示缓存空间的可用性，从而提升了效率和整体性能。
InfiniBand网络基于“以应用程序为中心”的新观点，提供易于使用的消息服务。
InfiniBand消息服务摒弃了传统网络和应用程序之间消息传递的复杂结构，直接使用InfiniBand服务意味着应用程序不再依赖操作系统来传递消息，这大大提高了通信效率。
InfiniBand与其他网络的核心区别在于其基于信用的流量控制系统和远程直接内存访问（RDMA）。
InfiniBand支持远程节点间RDMA读写访问，具备在完全卸载CPU和操作系统的方式下，在两个远程系统的存储区域移动数据的能力。
InfiniBand物理信号技术一直超前于其他网络技术，使其具备比其他任何网络协议都大的带宽。
InfiniBand架构的核心是把I/O子系统从服务器主机中剥离出去，通过光纤介质，采用基于交换的端到端的传输模式连接它们。
在InfiniBand架构中，数据通过Hub Link方式连接，目前的标准是Hub Interface 2.0。
Hub Link是一种串行总线，具有良好的可扩展性，主板设计师可以根据需要的总线带宽在内存控制器和HCA之间选择多条Hub Link总线。
InfiniBand规范定义了三个基本组件：HCA、TCA和交换机。
HCA提供从系统内存到InfiniBand网络的通路；TCA提供I/O设备或I/O网络与InfiniBand网络的连接；交换机使多个InfiniBand叶节点互连进一个单一网络，同时支持多个连接。
InfiniBand采用分层协议，每层负责不同的功能。
物理层定义了电气特性和机械特性；链路层描述了数据包的格式和数据包操作的协议；网络层是子网间转发数据包的协议；传输层负责报文的分发、通道多路复用和基本传输服务；上层协议包括SDP、SRP、iSER、RDS、IPoIB和uDAPL等。
InfiniBand灵活支持直连及交换机多种组网方式，主要用于HPC高性能计算场景，大型数据中心高性能存储等场景，满足低时延的需求。
高性能计算（HPC）是一个涵盖面很广的领域，它覆盖了从最大的“TOP 500”高性能集群到微型桌面集群。
在HPC系统中，InfiniBand的低延迟、高带宽和原生的通道架构对于此类系统来说是非常重要的。
汽车圈算力第一的大陆集团AI超级计算机，你了解吗？
汽车行业正经历重大转型，软件定义汽车的趋势日益显著，电子电气架构也正处于不断进阶过程中，从分布式架构演进至集中式架构，最终将朝向服务器式架构发展。
面对智能化汽车架构的未来趋势，大陆集团投资建设了专属的人工智能（AI）超级计算机，此计算机位于法兰克福数据中心，靠近云服务提供商，提供理想的AI应用环境，同时确保冷却系统、网络连接和供电满足特定需求。
该系统采用认证的绿色能源供电，GPU集群在设计上具有比CPU集群更高的能源效率。
此超级计算机将助力无人驾驶实现商业应用。
它通过运用NVIDIA InfiniBand互连技术连接的DGX系统提供计算能力与存储功能，为全球开发人员提供支持，推动高级驾驶员辅助系统变得更加智能和安全，为无人驾驶的中期商业化铺平道路。
大陆集团高级驾驶员辅助系统事业部的项目管理系统负责人Christian Schumacher表示，该超级计算机是未来投资的重要组成部分，能够同时进行超过14次实验，大大缩短神经网络训练所需时间。
大陆集团在寻找合作伙伴时，注重品质与速度，经过深入测试和考察，最终选择了NVIDIA，这是一家为全球多台最快的超级计算机提供动力支持的公司。
NVIDIA企业计算部门负责人Manuvir Das指出，NVIDIA DGX系统为像大陆集团这样的创新企业提供了高成本效益且易于部署的企业级人工智能超级计算解决方案。
大陆集团通过运用NVIDIA DGX POD对自动驾驶汽车进行训练，能够设计出最智能的未来汽车，并构建与汽车设计相配套的IT基础设施。
在汽车行业中，大陆集团的超级计算机性能独占鳌头。
它由50多个NVIDIA DGX系统组成，与NVIDIA Mellanox InfiniBand网络相连，根据全球超级计算机500强榜单数据，其性能在汽车行业中排名第一。
超级计算机采用混合模式，可根据需求通过云解决方案扩展容量和提高存储性能。
Schumacher解释，此超级计算机是IT基础设施设计的杰作，为了达到现在的完整性能和功能，以及支持未来扩展的可扩展性，团队精确规划了每一个细节。
高级驾驶员辅助系统利用人工智能使汽车具备决策、辅助驾驶员直至实现自主驾驶的能力。
雷达和摄像头环境传感器收集原始数据，智能系统实时处理这些数据，构建车辆周围环境的综合模型（感知），制定相应的驾驶策略（规划）。
最后，系统需控制车辆执行规划策略（行动）。
然而，随着系统复杂性的增加，传统软件开发方法和机器学习方法已达到极限。
深度学习和仿真已成为基于人工智能的解决方案的基本开发方法。
超级计算机大幅提高深度学习、仿真和虚拟数据生成速度。
通过深度学习，人工神经网络让机器从经验中学习，与人脑内部的学习过程相似，但需要大量数据训练。
NVIDIA DGX POD减少了复杂过程所需的时间，缩短了新技术的上市时间。
大陆集团匈牙利达佩斯人工智能能力中心负责人Balázs Lóránd及其团队致力于开发支持人工智能创新的基础设施，他表示，全面神经网络训练所需时间从数周缩短至数天。
随着开发团队人数和经验的增长，借助超级计算机，能够根据需求更好地扩展计算能力，充分发掘开发人员的潜力。
训练神经网络所用数据主要来自大陆集团的测试车队，车队每天行驶公里左右，收集约100TB的数据，相当于小时的电影。
所记录的数据可以通过回放进行虚拟车辆测试，用于新系统的训练。
超级计算机能够综合生成数据，这种高度计算密集型用例，使系统能够在虚拟行驶中学习。
在开发流程方面，超级计算机带来显著优势。
首先，长远来看，系统能即时创建必要的训练场景，可能不再需要记录、存储和挖掘现实车队生成的数据。
其次，它提高了开发速度，虚拟车辆只需几个小时就能完成现实汽车数周才能行驶的路程。
此外，综合生成数据的特性使系统能够处理和应对不断变化和不可预测的情况，使车辆在多变和极端天气下安全行驶，或对行人移动做出安全预测，为实现更高级别的自动化铺平道路。
联想GPU系统概述
联想深腾7000G是一款基于GPU加速的高性能计算服务器，专为需要高计算性能的场景设计。
它采用了一种Cluster架构，每个服务器节点配备了GPU加速设备，配合Intel处理器的强大性能，为用户提供高效运算能力。
操作系统方面，系统运行在Linux环境下，同时支持Ethernet和Infiniband等多种高速互连技术，确保数据传输的高效稳定。
GPU，作为专为图形处理而生的硬件，近年来已发展成为一种能处理高度并行计算的强大工具。
它不仅在图像显示上有所建树，还支持高级编程语言，具备32位浮点IEEE-754精度，能够提供惊人的计算速率，GFLOPS（每秒浮点运算次数）非常高。
这使得GPU在并行计算领域得到了广泛应用。
深腾7000G的计算能力尤其显著，单精度计算能力达到了惊人的200万亿次，双精度计算能力则为15.4万亿次。
在2012年7月的一次系统升级后，双精度计算能力得到了显著提升，从原来的78 GFlops提升到了515 GFlops，增长了约6.6倍。
这次升级主要得益于12块GPU卡性能的显著增强，为用户提供了更为强大的计算资源。
