原创<br> 揭秘NVIDIA加速AI推理的密码，1台T4服务器完胜200台CPU服务器( 七 )_：揭秘NVIDIA加速AI推理的密码

另外，TensorRT还通过融合内核的节点，优化GPU显存和带宽的使用，并以更大限度减少显存占用，以高效方式重复利用张量内存。

TensorRT和TensorFlow现已紧密集成，Matlab也已通过GPU编码器实现与TensorRT的集成，能协助工程师和科学家在使用MATLAB时为Jetson、NVIDIA DRIVE和Tesla平台自动生成高性能推理引擎。

TensorRT和Turing架构两相结合，能提供高达CPU服务器45倍的吞吐量。

智东西认为，深度学习推理需要强大的计算平台，来满足云端与终端日益增长的AI处理需求。而一款强大的计算平台不仅需要强大的芯片，还需要完整的生态系统。

通过软硬件协同作用，NVIDIA TensorRT能在带来高吞吐量和高能效的同时，实现推理神经网络的快速优化、验证和部署，既能降低开发门槛，又能节省服务器成本，使得工程师和科学家更好地专注于深度学习研究，推动各行业智能化升级。

原创<br> 揭秘NVIDIA加速AI推理的密码，1台T4服务器完胜200台CPU服务器( 七 )