简介
InfiniBand RDMA 是一种远程直接内存访问 (RDMA) 技术，旨在为高性能计算 (HPC) 和数据密集型应用程序提供超低延迟和高吞吐量的数据传输。与传统数据传输方法（如 TCP）相比，它通过消除数据拷贝操作，大幅提高了性能。
InfiniBand 架构
InfiniBand 架构由以下主要组件组成：Infiniswap 网卡： 专为高速数据传输设计的网络适配器，支持 RDMA 操作。地址转换表 (ACR)：存储设备物理地址和 InfiniBand 分布式传输表 (DDT) 索引之间的映射。传输服务层 (TLS)： 提供数据传输和管理 RDMA 操作的服务。数据流： 在 InfiniBand 网络上创建的虚拟连接，用于发送和接收数据。
RDMA 操作
RDMA 引入了以下关键操作：读操作：允许应用程序直接访问远程内存，无需将数据复制到本地缓冲区。写操作：允许应用程序直接将数据写入远程内存，无需从本地缓冲区复制。原子操作：提供线程安全的操作，例如比较并交换 (CAS) 和取并加 (FAA)。
零拷贝技术
InfiniBand RDMA 的核心优势在于其零拷贝技术。它通过消除不必要的拷贝操作，显着提高了数据传输速度。在传统数据传输中，数据从源应用程序拷贝到内核缓冲区，然后通过网络传输，最后拷贝到目标应用程序的缓冲区。零拷贝技术直接将数据从源内存传输到目标内存，无需任何中间拷贝操作。
性能优势
InfiniBand RDMA 提供以下性能优势：极低延迟： 消除数据拷贝操作可显着降低延迟，使应用程序能够实时处理数据。高吞吐量： 零拷贝技术允许连续的数据流传输，可实现高达数千兆比特每秒的吞吐量。可扩展性： InfiniBand 拓扑支持大规模部署，可扩展到数千个节点。
HPC 和数据密集型应用场景
InfiniBand RDMA 因其卓越的性能而广泛应用于以下场景：HPC 建模和仿真： 要求低延迟和高吞吐量，以处理海量数据集。数据分析： 需要快速访问和处理来自不同来源的数据。金融交易： 依赖实时数据和高频交易。
结论
InfiniBand RDMA 是一种革命性的技术，通过其零拷贝技术为高性能应用提供了前所未有的数据传输性能。其极低延迟、高吞吐量和可扩展性使其成为 HPC 和数据密集型应用的理想选择。随着数据密集型应用程序的不断增长，InfiniBand RDMA 将继续发挥至关重要的作用，推动数据驱动的创新。
简单总结RDMA技术与零拷贝实现
在探索网络技术的深度时，我发现自己陷入了浮躁与困惑之中，因此决定撰写此总结，以理清思路。
标题中的“零拷贝”并非指Linux下的sendfile和splice操作，而是涉及从用户态内存直接到网络接口卡（NIC）的过程，这一概念在实际应用中尤为重要。
最近，我深入研究了RDMA（远程直接内存存取）技术，这项技术的核心在于将TCP/IP协议栈的操作从内核态下移到网卡硬件，从而实现数据直接从用户态内存通过DMA方式传输至NIC。
这一转变意味着数据传输路径由用户态内存 -> 内核态TCP/IP协议栈 -> NIC，转变为了用户态内存 -> NIC，极大地简化了数据传输过程。
在讨论RDMA时，网络层和数据链路层的分层意义变得清晰。
了解这一层面的细节有助于我们更好地理解网络通信的架构和功能。
RDMA技术的不同实现方式包括InfiniBand、RoCE（RDMA over Ethernet）以及iWARP（Internet Wide Area RDMA Protocal），每种技术在物理层和链路层的实现上有所差异，但都依赖于特定硬件的支持。
其中，InfiniBand提供了最佳的性能，但成本相应较高，因为它需要专用的IB网卡和IB交换机。
RoCE技术则利用以太网基础设施，但要求交换机支持无损以太网传输。
iWARP技术则是在标准以太网基础设施上实现RDMA功能，对现有网络设施的兼容性较好，但性能相对较差。
在三种主流RDMA技术中，InfiniBand和RoCE属于IBoE（IB over Ethernet）阵营，而iWARP则独立于这一阵营，具有较高的扩展性，能够适应更广泛的网络环境。
RDMA技术的优点在于能够有效减轻CPU的负担，通过专门的网卡硬件处理网络数据传输，降低网络延迟。
在分布式数据库场景中，RDMA技术尤为重要，它能够支持数据库副本实例间频繁的数据传输，提高数据处理效率。
Verbs API是RDMA技术的基础软件接口，类似于以太网的socket接口，为应用程序提供了与RDMA硬件交互的途径。
通过Verbs API，开发者能够直接编写RDMA应用程序，或利用在Verbs API基础上封装的中间件来构建更复杂的网络应用。
RDMA术语中，Fabric指的是支持RDMA的局域网；Channel Adapter是连接系统与Fabric的硬件组件；Memory Registration则是一种内存保护措施，确保内存区域的安全访问；Queues包括发送队列、接收队列和完成队列，它们构成RDMA操作的基本框架。
RDMA数据传输通过Memory verbs和Messaging verbs两种基本操作实现。
Memory verbs包括read、write和atomic操作，侧重于单向数据传输，数据在用户态内存与NIC之间直接进行DMA操作。
Messaging verbs则涉及发送和接收操作，需要远端应用感知参与，实现数据的双向传输。
总之，RDMA技术通过优化网络数据传输路径，减轻CPU负担，提升数据处理效率，特别适用于分布式计算和大数据场景。
Verbs API提供了一种标准的软件接口，使开发者能够更加灵活地利用RDMA技术，实现高效的数据传输。
高性能互联通信技术—RDMA
高性能互联通信技术——RDMA引言：RDMA的由来？在高性能计算领域，低延迟和高带宽的需求迫切，但传统网络通信方式存在数据传输过程中的多次拷贝和中间处理，导致较高传输延迟和系统开销。
随着计算机性能提高和应用需求增加，RDMA应运而生，旨在解决传统通信方式的性能瓶颈。
1. RDMA介绍RDMA（Remote Direct Memory Access）允许节点直接访问远程内存，以提高数据传输效率。
它绕过操作系统，直接在内存间传输数据，避免了多次拷贝操作。
2. 出现背景RDMA始于20世纪90年代，Intel和IBM等公司及研究机构推动其发展。
Intel的iWARP协议为RDMA提供了基础，IBM的HPS项目探索了高性能计算与存储的网络实现。
3. RDMA协议类型主要有Infiniband、RoCE和iWARP三种协议，共享Verbs接口，不同层次上略有差异。
4. RDMA软件架构RDMA架构分为用户态和内核态的rdma-core和内核RDMA子系统，适用于所有RDMA网卡。
5. RDMA基本元素和操作类型基本元素包括QP和CQ，操作类型有RDMA Write，其特点是一端主动写入远端内存，无需远端CPU参与。
6. RDMA方案的设计思路设计思路关注于低延迟、高带宽传输，直接内存访问，适用于特定高性能场景。
7. RDMA的优势与应用RDMA提供低延迟、高带宽的高效传输，广泛应用于高性能计算、分布式存储和虚拟化等领域，满足特定需求场景。
随着技术进步和需求增加，RDMA持续优化，推动网络通信领域创新。
初识RDMA网络传输技术
踏入高性能计算与数据中心通信的新纪元，我们来深入了解RDMA网络传输技术，它是如何颠覆传统的数据传输方式，提升效率并驱动大规模计算环境的。
RDMA（远程直接内存访问）的核心理念，是通过直接内存访问远程节点，避开繁琐的TCP/IP栈，实现近乎零拷贝的数据传输，显著减少CPU负载。
RDMA技术的基石：其核心在于无须经过CPU干预，就能直接在内存间交换数据，这得益于“0拷贝”和“内核Bypass”功能。通过绕过内核处理，系统调用的开销大大降低，CPU资源得以释放，专注于更高层次的计算任务。
RDMA的显著优势在于其卓越的性能。
它能够提供更高的带宽和更低的时延，特别适用于实时数据交互和同步场景，对于HPC（高性能计算）和数据中心应用而言，无疑是一股强劲的动力。
协议多样性：RDMA包括Infiniband（IB）、RoCE和iWARP等不同的实现，各有优缺点。IB是核心协议，提供极致性能，而RoCE成本更低但性能稍逊，iWARP则强调可靠性但资源消耗较大，适合大规模网络部署。
在行业组织层面，IB协议与IBTA和OFA紧密相连。
IBTA是个由博通、HPE等企业组成的组织，致力于IB和RoCE设备的测试与认证，华为则是其成员之一；OFA则是一个非盈利组织，专注于Infiniband协议栈的开发和测试，推动RoCE的兼容性和易用性提升。
技术社区与支持：Linux内核中的RDMA子系统活跃，诸如华为和Mellanox这样的厂商不断贡献代码优化。要获取更多信息，可以关注Linux邮件列表（详情）和访问开源代码库（链接）。
为了简化开发，IB提供了libibverbs接口，类似Socket的易于操作。
UCX，一个高性能计算通信框架，提供了开发者友好的API，使得RDMA技术更加亲民和易用。
硬件与用户群体：行业巨头如Mellanox主导着IB市场，华为则在RoCE技术上占据一席之地。微软、IBM、阿里、京东等知名企业广泛采用RDMA，无论是数据中心还是HPC，都能看到其广泛应用的身影。
最后，对于想要深入学习Linux的你，我们提供一系列免费的学习资源，包括视频教程、电子书和PPT等，帮助你踏上RDMA技术的探索之旅。
只需点击链接（[链接省略]），即可开始你的学习之旅。
让我们共同探索RDMA技术的无限可能，踏上高性能通信的新征程。Linux学习之旅，从此启航！
