不使用 cv2.calibrateCamera 的相机校准

Question

我正在使用 cv2.calibrateCamera 进行相机校准，如下所示。

ret, matrix, distortion, r_vecs, t_vecs = cv2.calibrateCamera(threedpoints, twodpoints, grayColor.shape[::-1], None, None)

但我必须在不使用此功能的情况下这样做。

Answer 1

相机标定是估计相机的内在和外在参数的过程。内在参数包括相机矩阵和畸变系数，而外在参数包括将 3D 世界坐标转换为 2D 图像坐标的旋转和平移向量。

cv2.calibrateCamera 是 OpenCV 中的一个内置函数，它使用一组对应的 3D 世界点和 2D 图像点来执行相机校准。如果想在不使用该功能的情况下进行相机标定，可以按照以下步骤进行：

收集一组对应的3D世界点及其对应的2D图像点。您可以使用棋盘或圆网格等校准目标来获取这些点。校准目标应放置在相对于相机的不同方向和位置，以捕获各种校准数据。

使用收集到的校准数据计算相机矩阵和畸变系数。这可以使用以下步骤完成：

一个。使用 3D 世界点及其对应的 2D 图像点估计相机矩阵。这可以使用直接线性变换 (DLT) 算法或 Zhang 提出的迭代算法来完成。

b。使用 Levenberg-Marquardt 优化算法细化相机矩阵，以最小化 3D 世界点与其对应的 2D 图像点之间的重投影误差。

c。使用细化的相机矩阵和校准数据计算失真系数。

使用相机矩阵和畸变系数计算每个图像的旋转和平移向量。这可以使用 OpenCV 中的 solvePnP 函数来完成。

可选地，使用细化的旋转和平移向量细化相机矩阵和畸变系数。

通过使用校准的相机矩阵和畸变系数计算 3D 世界点与其对应的 2D 图像点之间的重投影误差来验证相机校准。

请注意，相机校准是一个复杂的过程，需要仔细注意细节并充分理解基础理论。建议尽可能使用已建立的库和函数，例如 cv2.calibrateCamera，以确保准确可靠的结果。

下面是一些不使用 cv2.calibrateCamera 函数执行相机校准的示例代码：

import numpy as np
import cv2

# Step 1: Collect calibration data
# ... (code to collect 3D world points and their corresponding 2D image points)

# Step 2: Compute camera matrix and distortion coefficients
# Step 2a: Estimate camera matrix using DLT or Zhang's algorithm
M = np.zeros((3, 3))
# ... (code to estimate camera matrix M)

# Step 2b: Refine camera matrix using Levenberg-Marquardt optimization
dist_coeffs = np.zeros((5,))
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
obj_points = np.array([world_points], dtype=np.float32)
img_points = np.array([image_points], dtype=np.float32)
retval, M, dist_coeffs, rvecs, tvecs = cv2.calibrateCamera(
    obj_points, img_points, grayColor.shape[::-1], M, dist_coeffs,
    flags=cv2.CALIB_USE_INTRINSIC_GUESS | cv2.CALIB_FIX_K4 | cv2.CALIB_FIX_K5,
    criteria=criteria
)

# Step 3: Compute rotation and translation vectors
# ... (code to compute rotation and translation vectors using solvePnP)

# Step 4: Refine camera matrix and distortion coefficients
# ... (code to refine camera matrix and distortion coefficients using rvecs and tvecs)

# Step 5: Validate calibration
mean_error = 0
for i in range(len(world_points)):
    img_points2, _ = cv2.projectPoints(world_points[i], rvecs[i], tvecs[i], M, dist_coeffs)
    error = cv2.norm(image_points[i], img_points2.reshape(-1, 2), cv2.NORM_L2) / len(img_points2)
    mean_error += error
print("mean error: {}".format(mean_error / len(world_points)))

请注意，这只是一个基本示例，实际实施可能因具体校准目标、相机设置和要求而异。另请注意，虽然可以在不使用 cv2.calibrateCamera 函数的情况下执行校准，但与使用已建立的库和函数相比，它可能更困难且更容易出错。