我有一个TensorFlow对象检测模型，与TensorFlow服务一起使用，并已部署到Azure Kubernetes群集中。我使用了TensorFlow / serving：1.12.3：gpu版本的Nvidia K80 GPU设备。
[模型已部署并正确响应，但是响应时间非常长，对于500 * 375-135 KB图像，响应时间为3-4秒。
任何人都可以帮助我了解可以改进的地方吗？
我有一个TensorFlow对象检测模型，与TensorFlow服务一起使用，并已部署到Azure Kubernetes群集中。我使用了具有TensorFlow / serving：1.12.3：gpu版本的Nvidia K80 GPU设备。...
如果此图像是第一个预测请求，则属于正常情况。您可能需要热身请求。