如何将深度学习训练速度提升一百倍？PAISoar 来了(15)_阿里妹导读：得力于数据规模增长、神经

目前绿网模型互联网场景每天调用量已经达到亿级别，平均的 RT 为80ms左右。

由于图像计算量复杂以及图像数据量大， GPU 单机训练已经无法满足目前模型迭代的速度，单机2卡训练一个模型需要长达12天之久，因此分布式训练势在必行：

3.2 分布式调参

如上文，使用 PAISoar 进行分布式训练后，绿网模型取得了非常明显的计算加速效果，在128 GPU卡上，计算加速比能达到101倍。

分布式训练另一个重要的工作就是调参，分布式规模扩大相当于增加 batch size ，如果沿用以前的学习策略和参数（learning Rate等）会导致模型收敛慢或不收敛，达不到单机训练的精度。我们需要进行调参来让模型训练收敛。

我们调参所用的方法：

1.训练数据分片，在分布式训练时，需要对数据进行分片，确保每个 worker 读到的数据不一样，最好是每几个 epoch 后整体数据 shuffle 一次，避免模型对输入数据顺序的依赖。

如何将深度学习训练速度提升一百倍？PAISoar 来了(15)