提供具有张量流服务的训练对象检测模型

Question

我很难为tensorflow模型提供服务，我已经使用tensorflow的对象检测API从预训练模型中进行了训练。

我用model_main.py脚本训练了一个模型（Resnet101），性能似乎已经准备好用于生产。因此，我创建了一个运行tensorflow-serve的docker容器。我已经设法为训练过程结束时创建的模型提供服务。我想这个功能很安静，但似乎model_main.py脚本在训练结束时创建了一个servable。 （我在我的“train_dir”中找到了一个名为“export”的新文件夹，其中包含saved_model.pb和variables variables.data-00000-of-00001以及variables.index）。但是，我设法服务这个模型，输出形式tensorflow_model_server看起来像这样：

2018-08-29 07:47:50.268810: I tensorflow_serving/core/loader_harness.cc:86] Successfully loaded servable version {name: my_model version: 123}
2018-08-29 07:47:50.271480: I tensorflow_serving/model_servers/main.cc:327] Running ModelServer at 0.0.0.0:8500 ...

服务似乎有效。

问题是，我正在努力用python客户端连接到服务器。我修改了tensorflow serve inception示例附带的客户端文件，如下所示：

from __future__ import print_function

# This is a placeholder for a Google-internal import.

import grpc
import tensorflow as tf

from tensorflow_serving.apis import predict_pb2
from tensorflow_serving.apis import prediction_service_pb2_grpc


tf.app.flags.DEFINE_string('server', 'localhost:9000',
                       'PredictionService host:port')
tf.app.flags.DEFINE_string('image', '', 'path to image in JPEG format')
FLAGS = tf.app.flags.FLAGS

def main(_):
  channel = grpc.insecure_channel(FLAGS.server)
  stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
  # Send request
  with open(FLAGS.image, 'rb') as f:
    # See prediction_service.proto for gRPC request/response details.
    data = f.read()
    request = predict_pb2.PredictRequest()
    request.model_spec.name = 'my_model'
    request.model_spec.signature_name = 'serving_default'
    request.inputs['serialized_example'].CopyFrom(
        tf.contrib.util.make_tensor_proto(data, shape=[1]))
    result = stub.Predict(request, 10.0)  # 10 secs timeout
    print(result)


if __name__ == '__main__':
  tf.app.run()

如果我使用正确设置的端口运行此脚本，我会从模块服务器中获取错误消息：

2018-08-29 08:32:48.426016: W external/org_tensorflow/tensorflow/core/framework/op_kernel.cc:1275] OP_REQUIRES failed at example_parsing_ops.cc:240 : Invalid argument: Could not parse example input, value: '����

客户端返回一些随机二进制字符串。但显然有一个连接，请求到达服务器。

在我看来，客户的请求有问题，但我不知道如何正确设置它。我没有找到有关默认签名密钥的任何信息，model_main.py脚本用于导出训练模型并尝试使用训练检查点和修改后的exporter.py脚本创建新的servable失败。

在这种情况下，有人知道如何正确设置客户端的请求吗？

Answer 1

好像你在调用gRPC端口而不是REST API。 https://www.tensorflow.org/tfx/serving/docker

Port 8500 exposed for gRPC

Port 8501 exposed for the REST API