原创<br> 揭秘NVIDIA加速AI推理的密码，1台T4服务器完胜200台CPU服务器( 六 )_：揭秘NVIDIA加速AI推理的密码

NVIDIA加速推理的优势也正是在软硬件的结合上凸显出来，既有专为深度学习定制的处理器，又具备软件可编程特质，还能加速TensorFlow、PyTorch、MXNet等各种主流深度学习框架，为全球开发者生态系统提供支持。

面向深度学习推理，NVIDIA提供了一套完整的推理套餐——TensorRT超大规模推理平台。

TensorRT包含T4推理加速器、TensorRT5高性能深度学习推理优化器和运行时、TensorRT推理服务三部分，支持深度学习推理应用程序的快速部署。

其中，TensorRT5将能够优化并精确校准低精度网络模型的准确度，最终将模型部署到超大规模数据中心、嵌入式或汽车产品平台。

TensorRT推理服务是NVIDIA GPU Cloud免费提供的即用型容器，能提高GPU利用率，降低成本，还能简化向GPU加速推理框架的转换过程，更加节省时间。

配备TensorRT的GPU，推理性能最高可达CPU的50倍。

这得益于TensorRT对网络结构的重构与优化。在精度方面，TensorRT提供INT8和FP16优化，通过降精度推理，在显著减少应用程序的同时保持高准确度，满足许多实时服务的需求。

原创<br> 揭秘NVIDIA加速AI推理的密码，1台T4服务器完胜200台CPU服务器( 六 )