我需要使用cuda内核中的tensorflow模型进行推理。为此，我需要DEVICE函数进行推理，可以从cuda内核中调用。在tensorflow C ++ API中没有找到类似的东西。
我绝不是Tensorflow的专家。但是考虑在非普通网络上运行GPU推理通常会涉及多个内核调用。您正在寻找的那种API似乎不太可能存在。即使从理论上可以在其他内核中启动内核也是可能的（例如，使用动态并行），Tensorflow的全部意义在于将抽象级别的计算描述为远远超过与CUDA相关的任何内容。您可以使用Tensorflow为您进行CUDA映射。 Tensorflow基本上是一种编译器，它将您的计算图转换为它认为是在给定目标硬件上执行图形描述的计算的最佳方式。这种映射的细节是高度针对特定目标的，并且可能会发生变化。在公共API中公开任何此类内容似乎都违背了Tensorflow的目标。当然，Tensorflow是开源的，所以人们总是可以去看看Tensorflow生成的设备代码究竟是什么以及如何调用它。但是，这样做所需的努力量很可能是令人望而却步的;每一个新版本都必须打破整个事物......
而不是问如何手动调用Tensorflow会话的内部，更有效的方法似乎让Tensorflow给你打电话。看来，例如，adding a custom operation，你可以让Tensorflow调用你的GPU代码......