TensorFlow Lite发布重大更新！支持移动GPU、推断速度提升4-6倍( 二 )_乾明发自凹非寺量子位出品|公众号QbitA

在Pixel 3的人像模式（Portrait mode）中，与使用CPU相比，使用GPU的Tensorflow Lite，用于抠图/背景虚化的前景-背景分隔模型加速了4倍以上。新深度估计（depth estimation）模型加速了10倍以上。

在能够为视频增加文字、滤镜等特效的YouTube Stories和谷歌的相机AR功能Playground Stickers中，实时视频分割模型在各种手机上的速度提高了5-10倍。

对于不同的深度神经网络模型，使用新GPU后端，通常比浮点CPU快2-7倍。对4个公开模型和2个谷歌内部模型进行基准测试的效果如下：

使用GPU加速，对于更复杂的神经网络模型最为重要，比如密集的预测/分割或分类任务。

在相对较小的模型上，加速的效果就没有那么明显了，使用CPU反而有利于避免内存传输中固有的延迟成本。

如何使用？

安卓设备（用Java）中，谷歌已经发布了完整的Android Archive (AAR) ，其中包括带有GPU后端的TensorFlow Lite。

TensorFlow Lite发布重大更新！支持移动GPU、推断速度提升4-6倍( 二 )