如何将深度学习训练速度提升一百倍?PAISoar 来了( 六 )
PAISoar 在 Tensorflow 官方 benchmarks 模型上取得了非常不错的加速效果 。 同时我们还和安全部团队合作 , 将该研发成果成功的在安全部图像模型业务上落地 。 安全部的绿网模型训练样本280万张图片 , 单机两卡训练需要12天才能收敛 , 因此有着非常强的分布式训练需求 , 希望能达到一天内完成训练 , 提升模型迭代能力 。 借助于 PAISoar , 绿网模型分布式训练取得非常明显的加速效果 , 模型收敛时间从原先的12天降低到目前的一天以内 , 大大加速了业务的快速迭代 。
我们用 images/sec (每秒处理的图片数或样本数)来统计分布式模型的计算能力 。
假设单 GPU 卡下计算能力为1 , 绿网模型在 PAISoar 中计算加速比如下图所示:
在 PAISoar 上 , 绿网模型在128 GPU卡上取得了101倍的计算加速比 , 效果非常明显 。
2. PAISoar:基于 PAI Tensorflow 的分布式训练框架
2.1 PAISoar简介
PAISoar 是基于 PAI Tensorflow 实现的分布式训练框架 。 通过 PAISoar , 我们提供了一个从硬件到软件、易用的分布式训练的性能优异框架 。
推荐阅读
- 小鱼人|如何在新赛季稳定上分?善于抓失误的小鱼人,值得认真练上一波
- 阴阳师|阴阳师SR川猿强度如何 是否值得抽卡 改变斗技环境 大佬的新玩具
- 手机游戏|梦幻西游手游:活力如何换金币 一切都已给出 就看你的选择
- 华佗|三国杀:两位\奶爸\,朱治与华佗比,强度如何呢?
- 亲朋上分|《亲朋上分》266391亲朋下分亲朋上下分永劫无间崔三娘技能介绍 崔三娘如何获得更多技能
- s6|金铲铲之战:S6双城传说如何才能快速上手?基础知识很关键
- |冰雪传奇:平民玩家四转后如何打金
- 穿越火线|CF:传说武器再度上新,那王者、炫金该如何发展?
- 无尽梦魇|魔兽世界TBC:深度解析“翠绿的宝珠”对哪些职业保值
- 打野|打野已经被削到几乎不能再削了,到底如何平衡打野位置?