原创<br> 揭秘NVIDIA加速AI推理的密码,1台T4服务器完胜200台CPU服务器( 三 )

每天由第三方商家上传到京东POP平台的视频数据不计其数,京东必须确保上传的信息安全无害。

以前,要审核1000路的视频流,京东必须在云端部署1000枚CPU,而使用NVIDIA AI推理平台后,吞吐量提升20倍,速度比CPU快40倍,1台配备4个Tesla P40的服务器能代替超过约50台CPU服务器。

原创<br> 揭秘NVIDIA加速AI推理的密码,1台T4服务器完胜200台CPU服务器

T4作为NVIDIA专为加速AI推理打造的GPU,在推理性能和能效比上一代产品P4 更胜一筹。

如图,左边是200台占用四个机架的CPU服务器,支持语音、NLP和视频应用,功耗达60千瓦。而相同的吞吐量和功能,一台搭载16块T4 GPU的服务器就足矣,不仅如此,这台服务器还将功耗降为原来的1/30。

原创<br> 揭秘NVIDIA加速AI推理的密码,1台T4服务器完胜200台CPU服务器

原创<br> 揭秘NVIDIA加速AI推理的密码,1台T4服务器完胜200台CPU服务器

推荐阅读