Op类型未在二进制运行中注册'BatchMatMulV2'

Question

说明

当尝试在TRTIS上运行我的tensorflow savedmoel时。它无法启动，并出现以下错误：

无法加载'trt_model'版本1：找不到：op类型未在fa60ca095bbf上运行的二进制文件中注册'BatchMatMulV2'。确保在此过程中运行的二进制文件中注册了Op和Kernel。请注意，如果您要从tf.contrib加载使用了ops的已保存图形，则应在导入图形之前访问（例如）tf.contrib.resampler，因为当首次访问该模块时，contrib ops会被延迟注册。

TRTIS信息我正在使用TRTIS 1.5.0

容器19.06CUDA版本10.1.24驱动程序版本：418.87.01

操作系统：ubuntu 16.04

要复制重现行为的步骤：

预期行为这是运行cmd行“ curl localhost：8000 / api / status”的输出]

id: "inference:0"
version: "1.3.0"
uptime_ns: 235795201147
model_status {
key: "trt_model"
value {
config {
name: "trt_model"
platform: "tensorflow_savedmodel"
version_policy {
all {
}
}
input {
name: "input"
data_type: TYPE_INT32
dims: -1
}
input {
name: "input_lengths"
data_type: TYPE_INT32
dims: -1
}
input {
name: "split_infos"
data_type: TYPE_INT32
dims: -1
}
output {
name: "out0"
data_type: TYPE_FP32
dims: -1
}
instance_group {
name: "trt_model"
count: 1
gpus: 0
kind: KIND_GPU
}
default_model_filename: "model.savedmodel"
}
version_status {
key: 1
value {
ready_state: MODEL_UNAVAILABLE
}
}
}
}

如果模型部署正常，则reday_status将为“ MODEL_READY”，那么如何解决此问题？

Answer 1

中注册“ BatchMatMulV2'

TRTIS 19.06不是使用tensorflow.contrib ops构建的，看起来应该按照此PR在[TRTIS> = 19.07中修复：https://github.com/NVIDIA/tensorrt-inference-server/pull/421

请参阅此相关主题以获取更多讨论：https://github.com/NVIDIA/tensorrt-inference-server/issues/855