谷歌云ML引擎的比例与网上的预测。如何测量节点的利用率？

Question

我有部署到谷歌云ML引擎的在线预测一些输入和输出修改的盗梦空间V3模型。一个星期左右在我周围100ms的延迟中位数和95％百分位2000毫秒有（约130）相对较少的稀疏的请求。我已经约2点*小时产生。节点的最小量设定为0。这是当我想用云ML发动机生产中的第一次。

问题：

我所知道的节点启动请求之后几分钟。但我怎么能估计请求的数量，就是每1分钟，这将导致系统的比例？人们似乎对节点的CPU占用率的信息。

在我来说，我认为请求量将稳步增长。应该期待节点*小时到达大约30 * 24（在每月天的时间量小时），然后在饱和一段时间这个值，然后进一步去当预测节点的CPU利用率达到，比如说70％？

Answer 1

你很快就能监测使用的节点数目，但你不能这样做呢。您可以根据您的平均QPS和延时做一个快速和肮脏的估计。假定约60％的利用率，则：

X qps * .2 secs/query / .6

Answer 2

我们做的Stackdriver发布请求级日志。您可以通过创建online_prediction_logging =真正的模型将其打开。在这些日志，我们有一个叫做场其中loading_request可以告诉你，如果该请求降落在新机器上。对于给定的较短的时间内，这可以给你多少个节点被带到了一个粗略的估计。为了更准确的节点扩展，即rhaertel80建议应该帮助功能。