如何向 Openvino 模型容器发送 http 请求？

Question

docker run -u $(id -u) -v ./models/:/models -p 9000:9000 openvino/model_server:latest --model_name tft --model_path /models/tft --port 9000

我通过此代码运行一个容器，我可以通过以下方式向其发送 grpc 请求： 客户端 = make_grpc_client("localhost:9000") 输出 = client.predict({"dense_3_input": data}, "tft", model_version=1)

有人可以提供这个api的http请求示例吗？

Answer 1

使用REST请求预测的代码如下：

from ovmsclient import make_http_client

client = make_http_client("localhost:8000")

with open("img.jpeg", "rb") as f:
    data = f.read()
inputs = {"input_name": data}
results = client.predict(inputs=inputs, model_name="my_model")

了解更多信息，请参阅TensorFlow Serving API。