我在Google云平台的ML引擎上部署了Tensorflow对象检测模型。我遇到过posts建议使用Tensorflow服务+ Docker以获得更好的性能。我是Tensorflow的新手，想知道什么是提供预测的最佳方式。目前，ml引擎在线预测的延迟> 50秒。我的用例是用户使用移动应用程序上传图片并根据预测结果获得合适的响应。所以，我期待预测延迟降低到2-3秒。我还能做些什么来加快预测速度？
Google Cloud ML Engine最近发布了对在线预测（Alpha）的GPU支持。我相信我们的产品可能会提供您正在寻找的性能改进。欢迎在这里注册：https://docs.google.com/forms/d/e/1FAIpQLSexO16ULcQP7tiCM3Fqq9i6RRIOtDl1WUgM4O9tERs-QXu4RQ/viewform?usp=sf_link