NV何琨：AI视频处理加速引擎及Deepstream介绍( 四 )

2019-05-11

举两个例子，现在跑的是一个大家耳熟能详的模型，就是Yolo v3的，它跑在我们的Tegra的产品上，只有不到半个手掌大的计算芯片设备，我做了一个目标检测任务，前提是Batch Size我都设为了1，因为在那样Memory的情况下，如果Batch Size设为更多，比如2或者4的话，如果不用DeepStream的话它是跑不了的，Out of Memory了。

图6/14

我们可以看一下左上角，这个是没有用DeepStream和TensorRT产品来优化的，结果是大概一帧一秒的过程。而右下角使用了TensorRT或DeepStream来做优化，大概是四点多的范围。

就是说在相同的一个算法上，我们在Batch Size都设置为1的情况下，速度提升比大概是四倍，这种情况下，我们不需要做任何的优化，不需要修改网络模型，不需要改数量级，只需要把模型给到DeepStream或者TensorRT就可以做速度加速比。

GitHub上有一个非常好的开源代码，利用DeepStream在GPU上进行加速的一个案例，推荐给大家：https://github.com/vat-nvidia/deepstream-plugins。

推荐阅读

上一篇：酷冷至尊发首款无线机械键盘：Cherry短轴，支持RGB灯效

下一篇：如何将 iPhone XS Mas 上的 WiFi 密码共享