构建 3D 对象检测模型

Question

我想构建一个用于 3D 对象检测的模型。我通过英特尔实感深度摄像头对瓶子进行了扫描（我的对象将是瓶子）。文件类型为 PCD 或 PLY（点云文件）。我通过在瓶子周围创建 3D 边界框来标记它们，为每个点云文件完成了标记或注释。

互联网上提供的大多数模型都在 KITTI 数据集（3D LiDAR 数据集）上进行了训练。我没有来自 LiDAR 传感器的数据，我只有基于深度的点云（来自英特尔实感）。我需要帮助为此类数据集构建模型。我有每个点云的点云（.ply 或 .pcd）和标签（来自 CVAT 在线工具，以 Datumaro、KITTI 和 SLY 点云格式提供）。请建议我如何构建 3D 对象检测模型。

Answer 1

由于您没有 LiDAR 数据，因此您需要调整现有模型或创建自定义模型。

考虑使用基于深度学习的模型，例如 YOLO（You Only Look Once）、PointRCNN 或 VoxelNet。

例如，YOLOv5 可以在 RGB-D 数据上进行训练。您可以使用预先训练的权重并在数据集上对其进行微调。

另请查看英特尔的这个项目：

https://github.com/intel/depthcamera-3d-model-web-demo