模型|英伟达：美团机器学习平台使用NVIDIA T4 GPU
IT之家 12 月 25 日消息 ， 据英伟达官方消息 ， 美团机器学习平台使用 NVIDIA GPU ， 通过算子融合、计算图等价替换等一系列优化， 相较于 CPU 在相同成本约束下 ， NVIDIA T4 GPU 大幅加速美团 CTR（Click-Through-Rate）模型预测性能 ， 神经网络模型吞吐能力提升了 10 倍；同时在搜索精排场景中 ， 端到端整体吞吐能力提升了一倍以上 。
文章图片
【模型|英伟达：美团机器学习平台使用NVIDIA T4 GPU】英伟达表示 ， 美团的 CTR 模型过去一直在使用 CPU 推理的方式 ， 但随着用户访问量的提升和深度神经网络的引入 ， CTR 模型结构趋于复杂 ， 吞吐和计算量也越来越大 ， CPU 开始不能满足模型对于算力的需求 ， 而仅仅通过 CPU 服务器的堆叠带来的性能提升性价比相较偏低 。 而 GPU 拥有数以千计的计算核心 ， 可以在单机内提供密集的并行计算能力 ， 特别适合深度学习场景 ， 在行业内已经在 CV、NLP 等领域展示了强大的能力 。 通过 CUDA 及相关 API ， NVIDIA 建立了完整的 GPU 生态系统 。 基于此 ， 美团基础研发平台将 CTR 模型部署到 GPU 上 ， 并通过一系列针对 CPU 与 GPU 的异构系统并行计算设计、数据存储方式和传输方式上的特定优化 。
IT之家了解到 ， NVIDIA Tesla T4 GPU 是一款推理加速器 ， 搭载 NVIDIA Turing Tensor Core 。 官方称 ， NVIDIA Tesla T4 GPU 具备人工智能推理的多精度计算性能 ， 从 FP32 到 FP16 再到 INT8 ， 又到 INT4 精度 ， T4 的性能比 CPU 高出 40 倍 ， 实现性能的重大突破 。
文章图片
推荐阅读
- 新浪科技|哈啰顺风车：三年完单总量3亿 认证车主数量达1800万
- 一财网|28页文件“上书”英国监管机构 英伟达收购Arm进入最后博弈
- 高达|魅族 PANDAER 发布 130W 可视移动电源：全透明外壳，售价 999 元
- 新浪科技|美国百强雇主榜单：英伟达摘得桂冠，Meta下跌36名，Zoom吊车尾
- 斯达|汉威科技：目前能斯达的电子皮肤已有小批量商用
- 市场|刘作虎：一加达成了一个小目标
- 新浪科技综合|中国学者找到新生儿黄疸与空气污染的关系 建预测模型
- 服务|抖音针对快递派送不电联等问题推出“音尊达”服务
- 国家|SA：未来 12 个月打算购买智能手表的消费者比例将达到两位数
- Tech星球|抖音测试快递服务“音尊达”，加码物流配送，布局产地仓 喜马拉雅上线直播App