如何可视化 TensorRT 网络图？

Question

我们当前的流程：

tf2

->

onnx

->

TensorRT

的对话（所有

16

和

32

和

8

位选项）

是否有像https://github.com/lutzroeder/netron这样的现有工具（或任何其他方式）来查看

TensorRT

的输出模型？

Answer 1

您现在可以使用 https://github.com/NVIDIA/TensorRT/tree/main/tools/experimental/trt-engine-explorer

可视化 Tensorrt 引擎图

它还提供有关发动机的其他信息。

Answer 2

目标是在 onnx/TensorRT 压缩后将其可视化吗？或者只是将其形象化？您始终可以使用 keras 工具。

我相信您也可以将 TensorRT 模型与 netron 结合使用，基于此 youtube 视频。

Answer 3

这个答案现在已经过时了，但是它值得否决吗

没有办法做到这一点，因为TensorRT模型（引擎）针对某些硬件（特定的NVIDIA GPU架构）进行了优化。它已经“编译”了（类似于 coreML

mlmodel

被编译为

mlmodelc

，而 TensorFlow（或 TFLite）模型并未针对特定硬件“编译”。

来自 NVIDIA 论坛：https://forums.developer.nvidia.com/t/visualizing-tensorrt-engine/69032

我假设您正在要求类似于张量板或中子板的东西？不幸的是，我不知道 TRT 的方法。

来自 Netron (lutzroeder) 的创建者：

除非这种格式被记录下来，否则不确定这里可以做多少事情。 Netron 有一个仅限浏览器的版本，因此即使存在用于支持非推理场景的 Python 或 C++ API，它也没有用。

---

当然，您仍然可以在创建 TensorRT 模型之前可视化 ONNX 模型。 TensorRT 只需要一个优化的模型，所以我不希望它有所不同。