如何实现Hololens 2空间意识

问题描述 投票:-1回答:1

我们想做什么

-当桌上有杯子,手表和手机时,我们只想将包围盒安装到带有Hololens2的手表上。-包围盒实时投影在Hololens2的屏幕上,其尺寸根据手表的尺寸而变化。-即使人们拿起并戴在桌子上的“手表”后,我们也要继续在HoloLens2的屏幕上连续投射边框。

问题

通过使用HoloLens的空间感知功能,可以识别“桌子”或“地板”。但是,很难识别出放在桌子上的小东西,例如时钟。我试图通过实验从HoloLens发出射线并在空间识别层上使用碰撞检测来推断对象的形状。但是,用于空间识别的网格是粗糙的(即使它是高网格),因此光线穿过对象或未对齐。我们假设如果可能进行详细识别,则可以将边界框附加到目标。有什么办法解决这个问题?请让我知道您是否有任何样本来源可供参考。

c# unity3d computer-vision hololens microsoft-custom-vision
1个回答
0
投票

您对HoloLens空间感知的理解是正确的,假设您正在使用Scene understanding SDK进行空间检测。它通常用于较大的空间以进行可视化或进一步的网格处理,它可以识别较大的表面,如墙壁,地板,天花板,但会忽略一些精致的物体。

如果要基于空间意识实现对象识别系统,则空间映射LOD的限制将被阻止。您不能指定大于最大支持三角形计数的值,否则将使用最大值。

对于小对象识别的要求,我建议检查Azure计算机视觉提供的Objects Detect Service,它返回图像中找到的每个对象的边界框坐标。此外,还有一些使用彩色相机的第三方实时对象识别库,您可以看一下。

© www.soinside.com 2019 - 2024. All rights reserved.