业界 | TensorFlow 携手 NVIDIA，使用 TensorRT 优化 TensorFlow Serving 性能( 三 )_：业界|TensorFlow携手NVIDIA

$ ls /tmp/resnet

1538687457

在此前的博客中，我们演示了如何使用 TensorFlow Serving CPU Docker 图像来创建模型。在这里，我们运行 GPU Docker 图像（点击https://www.tensorflow.org/serving/docker#serving_with_docker_using_your_gpu查看相关说明），从而借助 GPU 创建并测试此模型：

$ docker pull tensorflow/serving:latest-gpu

$ docker run --rm --runtime=nvidia -p 8501:8501 --name tfserving_resnet

-v /tmp/resnet:/models/resnet -e MODEL_NAME=resnet -t tensorflow/serving:latest-gpu &

…

… server.cc:313] Running gRPC ModelServer at 0.0.0.0:8500 …

… server.cc:333] Exporting HTTP/REST API at:localhost:8501 …

$ curl -o /tmp/resnet/resnet_client.py