NV何琨：AI视频处理加速引擎及Deepstream介绍( 六 )_主讲人|何琨英伟达陈铭林编辑整理量子

图8/14

后面画出这些图表是TensorRT当前的Performance一个优化的程度，这个是4.0版本，最新数值还要更高。我们什么都不需要做，只要用这个工具来Inference这个模型就OK了，可以达到这样一个高度。

而随着最新的TensorRT 5.0的推出，对于python的支持，对于NLP、RNN等基于时间序列的模型的支持也都非常好，特别是还有基于移动端类似于无人机、无人车等平台。

TensorRT有一个标准的Work Flow，给它一个训练好的网络模型（包括网络结构、权重参数），它会自动进行优化，而在这个优化完成后会生成一个可执行的推理引擎，只要把需要推理的数据实例，如图片、语音信息、文字等内容直接给它，它就可以加速你的模型推理。

而在模型推理过程中，我们需要它自动做这五件事：

图9/14

第一个是权重参数类型的优化，比如目前半精度和八位整形的推理，如果当数据的大小或位宽减少之后，数据传输、计算、配合最新的Tensor Core等硬件结构做推理时，整体速度会提升很多。

NV何琨：AI视频处理加速引擎及Deepstream介绍( 六 )