我愿意对6台鱼眼相机进行360°全景拼接。
为了找到相机之间的关系,我需要计算单应性矩阵。后者通常是通过查找图像中的特征并匹配它们来计算的。
但是,对于我的相机设置我已经知道了:
因此,我认为我可以手动计算单应性矩阵,我认为这会产生比执行特征匹配更准确的方法。
在文献中,我找到了以下公式来计算将图像 2 与图像 1 相关联的单应性矩阵:
H_2_1 = (K_2) * (R_2)^-1 * R_1 * K_1
这个公式只考虑了相机之间的旋转角度,而不考虑我的例子中存在的平移向量。
如何将每个相机的平移 t 插入到 H 的计算中?
我已经尝试在不考虑平移的情况下计算H,但由于d>1米,图像在全景图中没有准确对齐。
编辑:
根据下面弗朗西斯科的回答,我得到了以下问题:
校准鱼眼镜头后,我得到了一个矩阵
K
,焦距为f=620
,图像尺寸为1024 x 768。这被认为是大焦距还是小焦距?
我的相机位于直径为1米的圆圈上。下面的解释让我很清楚,由于相机之间的这种“大”平移,我对距离它们相对较近的物体产生了显着的重影效果。因此,如果Homography模型不能完全代表相机的位置,是否可以使用其他模型如Fundamental/Essential Matrix来进行图像拼接?
你不能“插入”翻译:它的存在以及不平凡的旋转在数学上意味着图像之间的关系不是单应性。
但是,如果成像场景距离相机“足够远”,即,如果相机之间的平移与场景对象距相机的距离相比很小,并且相机的焦距足够小,那么您可以使用由纯旋转引起的单应性作为近似值。
你的等式是错误的。正确的公式如下:
p_1 = (x, y, 1)
P_1 = inv(K_1) * p_1
P_2 = R_2_1 * P1
p_2 = K_2 * P_2
p_2 = [K_2 * R_2_1 * inv(K_1)] * p_1
乘积
H = K2 * R_2_1 * inv(K1)
是由纯旋转R_2_1
引起的单应性。旋转将点从帧 1 变换到帧 2。它由 3x3 矩阵表示,其列是在帧 2 中分解的帧 1 的 x、y、z 轴的分量。如果您的设置为您提供了所有摄像机的旋转相对于公共框架0,即R_i_0
,那么它是R_2_1 = R_2_0 * R_1_0.transposed
。
一般来说,你应该使用上面的单应性作为初步估计,通过匹配点和优化来细化。这是因为(a)单应性模型本身只是一个近似值(因为它忽略了平移),并且(b)机械设置(即使是校准的)给出的旋转受到误差的影响。使用匹配的像素来优化转换将最大限度地减少图像上重要的错误,而不是在抽象的旋转空间中。
@francesco-callari 你还在吗?我正在建造一个缝合器,希望得到一些建议。请告诉我,谢谢。