如何将深度学习训练速度提升一百倍？PAISoar 来了( 十 )_阿里妹导读：得力于数据规模增长、神经

同时，我们也和开源的 horovod 进行对比，在64 GPU卡下， Inception v3、ResNet-50、ResNet-152、VGG16四个模型性能分别提升：-6.4%、2%、21%、36% ，整体性能要好于 horovod 。

接下来将会介绍 PAISoar 中的关键技术：RDMA 和 Ring AllReduce 的技术细节。

2.3 RDMA技术

RDMA(Remote Direct Memory Access) 是一种硬件IO技术，通过将传输协议固化在网卡硬件中，网卡就可以实现内核旁路（kernel bypass）和零拷贝操作，从而大幅降低网络 IO 的延迟时间，大幅提高网络吞吐，同时不影响 CPU 的负载。 RDMA 在以太网上有2个标准， 2002年， ITEF 制定了 iWARP（Internet Wide Area RDMA Protocol）， 2010年， IBTA 制定了 RoCE（RDMA over Converged Ethernet）规范。阿里数据中心网络里采用 RoCE(v2) 方案。在时延测试中， RoCE 可以达到单向为2 - 3us左右，而与之对应的 TCP 时延为10 - 15us 左右。

为了实现 RoCE 的性能优势，以太网需要提供一个无损网络做为基础，否则对性能的负面影响非常大。以太网的无损机制主要通过端到端的 QoS 来实现，即所有的QoS 机制需要在服务器和交换机上做统一的设置，包括 DSCP、队列、DCQCN、ECN、PFC 等。通过使用这些技术，能够保证在 burst ， incast 等 IO 场景下 RDMA也有稳定的表现。下图是在一个32个节点的集群中做长时间压测时采集到的发送带宽，可以看到各个节点的带宽非常稳定。