TensorFlow Lite发布重大更新！支持移动GPU、推断速度提升4-6倍

2019-01-19

乾明发自凹非寺量子位出品 | 公众号 QbitAI

TensorFlow用于移动设备的框架TensorFlow Lite发布重大更新，支持开发者使用手机等移动设备的GPU来提高模型推断速度。

在进行人脸轮廓检测的推断速度上，与之前使用CPU相比，使用新的GPU后端有不小的提升。在Pixel 3和三星S9上，提升程度大概为4倍，在iPhone 7上有大约有6倍。

为什么要支持GPU？

众所周知，使用计算密集的机器学习模型进行推断需要大量的资源。

但是移动设备的处理能力和功率都有限。虽然TensorFlow Lite提供了不少的加速途径，比如将机器学习模型转换成定点模型，但总是会在模型的性能或精度上做出让步。

而将GPU作为加速原始浮点模型的一种选择，不会增加量化的额外复杂性和潜在的精度损失。

在谷歌内部，几个月来一直在产品中使用GPU后端做测试。结果证明，的确可以加快复杂网络的推断速度。

推荐阅读

上一篇：原创<br> 有一种被编好程序的人，一辈子只会用CtrlC&CtrlV

下一篇：聊天挖矿，罗永浩的救命稻草？