NV何琨:AI视频处理加速引擎及Deepstream介绍( 三 )

图4/14

在这过程中,DeepStream是如何去做的?我们可以看到,从最开始的视频的编解码,到整个流程地完成,这个过程中有两个东西是最重要的,一个是Gstreamer编解码工具,一个是TensorRT工具。在AI中它是一个加速GPU的推理引擎。DeepStream中,视频的编解码就是依靠Gstreamer,而内容的Inference过程中就用TensorRT来实现的。

NV何琨:AI视频处理加速引擎及Deepstream介绍

图5/14

可以看到每一个模块是用什么样的硬件设备来跑的,因为有一些可能还用到了CPU,但更多用到GPU的加速。特别地,有些情况下我们需要在计算能力有限的设备上,如小尺寸的GPU设备、无人机或者自动驾驶汽车等,我们需要加速一个完整的流程时,DeepStream也可以帮助我们这样的事。

DeepStream现在支持NVIDIA的Xavier系列、Tegra系列和最新出的Nano系列等产品,在这个过程中用一些GPU调度的情况下,比传统视觉库的加速效果要好很多。

推荐阅读