使用 2D 图像蒙版裁剪点云

Question

我的目标是将一片叶子的蒙版应用到整个场景的点云上，这样我就可以拥有一片叶子的点云。

我有点云数据。我可以将它转换成任何最合适的格式。现在，我将它作为 .obj 文件中的彩色点云，并且我有相同的点云，其中每个点在另一个文件中以 [x y z] 格式定义。我可以把它变成一个 numpy 数组或任何其他最适合这个的数组。

然而，点云数据中的相机为[0 0 0]，所以相机向西和下方的值为负（这与遮罩不同）

我通过以下方式可视化掩码数据：

我可以隔离一张叶子的面具。我目前可以使用 true/false 形状数组 (1024, 1024, 16) 格式访问它，但我也可以修改这些数据的组织方式。但是，我不太明白16位？我假设它是 1024 x 1024 像素？为什么每个像素有 16 个真/假值？也许这无关紧要，我可以假设像素是否为真。

真/假数组：

我的问题： 如何“裁剪”点云以仅包含蒙版定义的点？ 这涉及：

• 如何转换点云和蒙版的格式才能完成此操作？

（我使用 matterport 的 mask rcnn 作为蒙版，使用 ZED sdk 来创建点云，但这并不重要）