Jetson 计算机视觉/流媒体电视/物联网的最佳框架

Question

Huupe 希望您在平台上提出建议，以最好地利用 Nvidia Jetsons 打造我们的智能篮球篮板。

操作系统：JetPack vs Yocto

• Yocto：我们正在考虑使用 Yocto 而不是 Jetpack，因为我们相信在构建生产系统时，在 Yocto 中进行更改会更容易。

正在考虑的应用程序框架：

• 带有 GJS/Typescript 的 GTK WebKit 中的 ReactJS
• GTK/C++/提升
• 电子/ReactJS/铬/打字稿

我们目前的网络：

• 如果我们可以在硬件加速视频上显示我们的应用程序，并且更新包的工作量和 UI 处理开销水平可以接受，我们将选择 GJS/ReactJS。
• 如果我们可以克服构建问题，我们将使用 GTK/C++/Boost。
• 否则，如果我们可以硬件加速视频，我们将坚持使用 Electron/ReactJS/Chromium。

背景：Huupe.com正在构建一个支持比赛、训练和投射内容的智能篮球篮板。整个背板就是一个电视屏幕。相机和计算机视觉检测拍摄的位置以及拍摄是否成功。 Huupes 将视频从云端流式传输到其他 Huupes，并从投射移动设备。我们将重点介绍通过运行 AI、视频处理以及在 Huupe 屏幕上生成和显示图形和动画来控制 Huupe 的 Nvidia Jetson。请注意，Huupes 由移动设备通过 BLE/wifi 控制，不需要屏幕 UI 控件。 Huupe 原型正在使用 Jetson Xaviers，但我们正计划升级到 Jetson Orins。

正在考虑的替代方案：

• 带有 GJS/Typescript 的 GTK WebKit 中的 ReactJS

  • 优点：
    • ReactJS 比 GTK/Boost 具有更高的应用程序开发效率。
    • ReactJS 拥有比 GTK/Boost 更大的应用开发者社区。
    • Typescript 的使用增长超过 C++。
    • 比 Electron/Chromium 更高效。
  • 问题：
    • GTK 和 ReactJS 之间的 IPC 很难调试。
    • 更新包可能需要付出很大的努力。

• GTK/C++/提升

  • 优点：
    • UI硬件加速
    • 比 ReactJS 更高效的处理……

• Electron/ReactJS/Chromium 用于我们当前的原型。

  • 问题：
    • 从长远来看，随着我们添加功能，Electron/Chromium 的开销。
    • Chromium 不支持视频硬件加速。

注意：我们正在为我们的 iOS 和 Android 移动应用程序使用 React Native，该应用程序用于控制 Huupe 背板。

我们试过：

• 带有 GJS/Typescript 的 GTK WebKit 中的 ReactJS：我们面临着让我们的应用程序在视频上显示透明背景以及渲染逻辑与我们的 CV、BLE 和 API 代码之间进行进程间通信的挑战。
• GTK/C++/Boost：尚未成功构建应用程序。
• Electron/ReactJS/Chromium/Typescript：它在没有硬件加速视频的情况下运行，我们担心资源占用。