在TensorFlow（Lite）中使用GluonCV模型

Question

我正在努力在嵌入式设备上部署模型，进行性能比较等。这是一次实习，所以我真的受时间限制，无法进行重新实现/重新训练的模型，但是我必须使用可用的工具（我实际上是向主管明确要求的）。由于TorchScript确实不如TF Lite成熟，至少从我收集的数据来看，我将继续使用后者。它与2018年之前的模型配合得很好，但是许多SotA模型（如ResNeSt）仅在PyTorch中具有代码。但是，GluonCV似乎在他们的动物园中提供了很好的模型选择，并且基于TensorFlow，所以我认为有一种方法可以将它们导出到SavedModel，Keras .h5或其他任何东西，但是之后我什么也没找到很多搜索。我发现MMdnn，但是在转换为IR的过程中尝试在JSON导出的模型上失败（我将输出附加在底部，似乎MXNet JSON和Gluon JSON格式不同）。

还有其他人与将Gluon模型导出到野外吗？怎么样了？

谢谢！

mmtoir -f mxnet -n resnest200-symbol.json -d resnest200 --inputShape 3,257,257的输出：

/home/kmfrick/Gluon_Tinkering/venv/lib/python3.8/site-packages/mxnet/module/base_module.py:55: UserWarning: You created Module with Module(..., label_names=['softmax_label']) but input with name 'softmax_label' is not found in symbol.list_arguments(). Did you mean one of:
    data
    _defaultpreprocess1_init_mean
    _defaultpreprocess1_init_scale
  warnings.warn(msg)
Warning: MXNet Parser has not supported operator null with name data.
Warning: convert the null operator with name [data] into input layer.
Warning: MXNet Parser has not supported operator null with name _defaultpreprocess1_init_scale.
Warning: convert the null operator with name [_defaultpreprocess1_init_scale] into input layer.
terminate called after throwing an instance of 'dmlc::Error'
  what():  [09:24:49] src/c_api/c_api_symbolic.cc:540: InferShapeKeyword argument name data not found.
Candidate arguments:
    [0]_defaultpreprocess1_init_scale

Stack trace:
  [bt] (0) /home/kmfrick/Gluon_Tinkering/venv/lib/python3.8/site-packages/mxnet/libmxnet.so(+0x307d3b) [0x7f0127eb9d3b]
  [bt] (1) /home/kmfrick/Gluon_Tinkering/venv/lib/python3.8/site-packages/mxnet/libmxnet.so(+0x33a3755) [0x7f012af55755]

Answer 1

Gluoncv是用于计算机视觉的出色的基于MXNet的工具包！将gluoncv模型部署到嵌入式运行时的几个选项：

1. 您可以使用ONNX将模型转换为其他运行时，例如Android的CoreML for iOS或NNAPI
2. 您可以使用TVM
3. 您可以使用SageMaker Neo + DLR runtime，这可能是最简单的解决方案。 git包含适用于Android的示例。

请记住，从一个框架到另一个框架的编译和可移植性取决于操作员的覆盖范围，它可能不适用于特殊模型或非常新的模型