获取Unity中的英特尔实感深度流

Question

我目前正试图将新的RealSense Generation（D435，SDK2）的深度流作为Unity中的Texture2D。我可以轻松地访问常规RGB流作为WebCamTexture，当我尝试获取deepsream时，我收到此错误：

Could not connect pins - RenderStream()

Unity识别深度摄像机，但无法显示深度摄像机。

我也尝试使用Unity Wrapper的预制件，但它们并不适用于我的项目。如果我使用预制件，我可以将数据转换为R16纹理。有没有人有想法，如何在图像中的某个点获取深度信息（GetPixel（）不适用于R16纹理......）？我更喜欢获得一个WebCamTexture流，如果这不起作用，我必须以不同的方式保存信息......

Answer 1

我为获取深度数据所做的是创建自己继承自RawImage的类。我使用自定义类作为深度渲染流的目标，并从我的类中的纹理组件中获取图像。

Binding to custom class

在我的情况下，我想将16位深度数据转换为每通道8位rgb pgn，以便我可以将其导出为灰度图像。以下是我解析图像数据的方法：

byte[] input = texture.GetRawTextureData();
        //create array of pixels from texture 
        //remember to convert to texture2D first
    Color[] pixels = new Color[width*height];

    //converts R16 bytes to PNG32
    for(int i = 0; i < input.Length; i+=2)
    {

        //combine bytes into 16bit number
        UInt16 num = System.BitConverter.ToUInt16(input, i);
        //turn into float with range 0->1
        float greyValue = (float)num / 2048.0f;

        alpha = 1.0f;

        //makes pixels outside measuring range invisible
        if (num >= 2048 || num <= 0)
            alpha = 0.0f;

        Color grey = new Color(greyValue, greyValue, greyValue, alpha);

            //set grey value of pixel based on float
        pixels.SetValue(grey, i/2);
    }

要获得像素，您只需访问新的像素阵列即可。