什么是RDMA-RDMA技术浅析

远程直接内存访问（RDMA）是一项革命性的技术，它实现了数据直接从一台计算机的内存传输到另一台计算机，而无需通过操作系统等中间环节。

RDMA简介

在传统的TCP/IP技术中，数据在传输过程中需要在操作系统及其他软件层间跳转，这占用了大量的服务器资源，并导致了内存和处理器之间的瓶颈效应。RDMA技术的出现打破了这一局面。RDMA允许计算机直接访问其他计算机的内存，从而绕过了处理器处理数据的繁琐过程。这一技术将数据迅速从一个系统的内存移至另一个系统，而对操作系统几乎无影响。简而言之，RDMA利用先进的硬件和网络技术，使得服务器之间的数据传输变得更为高效。

支持RDMA的网络协议

RDMA技术主要通过以下网络协议实现：

1. InfiniBand：这是最早支持RDMA的网络协议，广泛应用于高性能计算领域。但由于其专用硬件设备和较高成本，普及范围相对有限。

2. RDMA过融合以太网（RoCE）：这一协议允许通过以太网进行RDMA操作。其网络结构基于标准以太网基础设施，但要求网络界面卡（NIC）具备特殊功能。

3. 互联网广域RDMA协议（iWARP）：允许通过TCP执行RDMA操作。相较于IB和RoCE，iWARP在某些功能上有所不同，但它允许在标准以太网架构上使用RDMA。需要注意的是，如果利用CPU卸载功能，则必须使用特殊的NIC，否则iWARP在软件中的实现会损失其性能优势。

RDMA的优势

RDMA的优势主要体现在以下几个方面：

1. 通过智能网卡与软件架构的充分优化，实现了高效的远程内存访问。

2. 采用零复制网络技术，消除了在应用程序内存与内核之间复制数据的需要，显著减少了传输延迟。

3. 内核协议栈旁路技术使得应用程序无需通过内核内存调用即可与网卡通信，降低了网络传输时的环境切换成本。

4. 应用程序可以直接访问远程内存，无需占用远程CPU资源。这意味着远程存储器的读取无需远程处理器的干预。

5. 数据以离散消息的形式处理，提高了处理的灵活性并降低了复杂性。

6. 支持分散/收集操作，能够处理多个内存缓冲区的读写操作。

在具体应用中，RDMA操作涉及远程虚拟内存的读写地址，这些地址被包含在RDMA消息中传输。远程应用程序只需在其本地网卡中注册相应的内存缓冲区，即可完成数据传输。在整个过程中，远程节点的CPU仅在连接建立和注册调用时参与，数据传输过程中几乎不产生负载。

RDMA的不同实现

RDMA的实现方式主要包括虚拟接口架构、基于融合以太网的RDMA（RoCE）、InfiniBand以及iWARP等。其中，InfiniBand作为最早实现RDMA的网络协议，主要应用于高性能计算环境。由于其专用硬件设备和较高成本，在此不做详细讨论。而RoCE和iWARP则是基于标准以太网架构实现RDMA的两种主要方式。让我们深入探讨一下基于以太网的版本中RoCEv2的相关特性。显然，RoCEv2协议栈是一个多层次的结构，包括IB传输层、TCP/UDP层、IP层以及Ethernet层。其中，后三层都采用了TCP/IP协议栈中相应的封装格式。这种封装格式，我们可以从下面的图示中清晰地看到。

在UDP报头中，有一个特殊的目的端口号4791，这就是RoCEv2帧的标志。IB BTH，即InfiniBand Base Transport Header，它定义了IB传输层的头部字段。当我们谈论IB Payload时，我们指的是消息负载。ICRC和FCS分别负责冗余检测和帧校验，确保数据的完整性和准确性。

接下来，我们来详细解读IB BTH的格式和字段定义。Opcode字段用于指示该包的类型，或者IB PayLoad中更高层协议的类型。S字段，作为Solicited Event的缩写，表明回应者需要产生一个事件。M字段，即MigReq的缩写，通常用于迁移状态。Pad字段告诉我们IB PayLoad中有多少额外字节被填充。TVer，即Transport Header Version，表明该包的版本号。Partition Key字段用于表征与本Packet关联的逻辑内存分区。Destination QP表示目的端Queue Pair的序号，这对于数据包路由至关重要。还有A字段，即Acknowledge Request，表示该packet的应答可由响应者调度。PSN，即Packet Sequence Number，它用于检测丢失或重复的数据包，确保数据的连贯性和一致性。

我们不得不提RDMA网卡的出包机制。RDMA是一种经过智能网卡与软件架构充分优化的远端内存直接高速访问技术。在RoCEv2协议栈中，IB BTH、UDP、IP以及Ethernet层都固化在网卡上。用户空间的应用程序通过OFA Stack（或其他组织编写的RDMA stack）提供的verbs编程接口（如WRITE、READ、SEND等）来创建IB payload。一旦这些payload形成，它们就直接进入硬件，由RDMA网卡负责实现负载的层层封装。这种架构使得数据传输更加高效，适用于需要高速网络通信的场景。