Linux 在哪里调用相机驱动程序进行图像传递

Question

OV5640 摄像头的 Linux 驱动程序 提供有限的功能。

static struct i2c_driver ov5640_i2c_driver = {
    .driver = {
        .name  = "ov5640",
        .of_match_table = ov5640_dt_ids,
    },
    .id_table = ov5640_id,
    .probe    = ov5640_probe,
    .remove   = ov5640_remove,
};

这些功能是

name

、

probe

和

remove

。

我对驱动程序不是很熟悉，但我找不到驱动程序中渲染像素的任何部分，因此我可以将它们存储到数组中。我也找不到任何用于读取像素的虚拟内存地址。

捕获的图像数据传输发生在代码的哪一部分？ 我正在寻找两个位置：一个在司机处，另一个在更高层，可以呼叫司机。

Answer 1

简短回答

您可以从以下位置捕获视频帧：

1. 找出你的 IPU 驱动程序在哪里并嗅探那里的数据。
2. 使用 V4L2 API 编写用户空间应用程序来捕获帧。

第二个选项是首选，也更容易。

详细解答

这里有三个驱动程序：

1. 相机驱动程序：通过 I2C 实现控制路径（例如启动流式传输）
   示例：

   "ovti,ov5640"

2. CSI接收器驱动程序（CSI-2主机控制器驱动程序）：基本上它是一个PHY，它将CSI-2数据格式转换为IPU的某种内部数据格式。
   示例：

   "fsl,imx6-mipi-csi2"

3. IPU（图像处理单元）驱动程序：实现了很多功能，例如图像 DMA、视频捕捉等
   示例：

   "fsl,imx6q-ipu"

• 捕获子系统驱动可以与IPU驱动分离。
  示例：

  "fsl,imx-capture-subsystem"

有时 CSI RX 和 IPU 驱动程序会组合成单个 IP 核（如 TI AM57xx 芯片中的视频输入端口）。有时视频捕获可以在单独的驱动程序中实现（尽管它是 IPU 的一部分）。这只是您正在研究的平台架构的问题，但主要思想是相同的。

看这张照片：

因此，如果您正在寻找挂钩数据的位置，则应该位于以下位置之一：

1. 在您的 IPU 驱动程序中：驱动程序可能正在对 RAM 进行 DMA 传输，将该 RAM 位置提供给 V4L2。您可以在这里尝试嗅探图像数据。由于您没有引用您的平台，因此您需要自己找到该驱动程序。看看

   drivers/media/platform/

   的内部，在

   drivers/staging/media/

   中，它应该在那里的某个地方。另外，探索您的设备树文件，

   ov5640

   节点应引用

   port

   节点中的CSI/IPU驱动程序。
2. 在您的用户空间应用程序中：V4L2用户空间接口允许您捕获视频帧；有关详细信息，请参阅此示例。

您可以尝试通过一些已知的 V4L2 常量 grep 内核源代码树来查找捕获驱动程序，例如：

$ grep -lIr V4L2_BUF_TYPE_VIDEO_CAPTURE drivers/media/platform/* drivers/staging/media/*

或者尝试从您的设备树文件中找到它。例如，在 iMX6 平台上所有相关节点如下所示：

ov5640: camera@3c {
    compatible = "ovti,ov5640";
    port {
        ov5640_to_mipi_csi2: endpoint { remote-endpoint = <&mipi_csi2_in>; };
    };
};

mipi_csi: mipi@21e0000 {
    compatible = "fsl,imx6-mipi-csi2";
    port@0 {
        mipi_csi2_in: endpoint { remote-endpoint = <&ov5640_to_mipi_csi2>; };
    };
};

ipu1: ipu@2800000 {
    compatible = "fsl,imx6q-ipu";
    ipu1_csi0: port@0 { };
};

capture-subsystem {
    compatible = "fsl,imx-capture-subsystem";
    ports = <&ipu1_csi0>;
};

但我建议您尝试从用户空间应用程序捕获视频帧，就像here所做的那样，因为在内核驱动程序中这样做可能是一项艰巨的任务。此外，在用户空间应用程序中，将捕获的帧保存到 jpg 文件会更容易，就像完成的那样here。

iMX6 资源

有很多关于 iMX6 的文档。那里有相机：

• 内核 iMX6 V4L2 文档：链接
• iMX6 TRM（技术参考手册）：所有文档，直接链接
• iMX Linux 参考手册：链接
• 应用笔记如this
• 像这样的幻灯片：iMX6 上使用 V4L2 和 OpenGL 的 HW 加速视频流