最大公共前景像素的图像翻译优化算法

Question

我正在寻找一种算法来有效地确定一个 2D 图像到另一个 2D 图像的最佳平移（仅限于 x 和 y 轴，无旋转）。目标是找到最大公共像素，其中像素被视为白色背景上的黑色，反之亦然。前景与背景的比例明显偏向背景。

示例：

这里，最好的翻译是 [-171, 97]。

我已经实现了一种算法，该算法可以比较所有像素并通过增加 x 和 y 来迭代翻译。然而，这种方法非常耗时。为了解决这个问题，我尝试通过仅关注第二个图像中白色像素到其他白色像素的转换来加速该过程。虽然可以用，但是还是很慢。

下面是我当前算法的代码片段（arrayImage仅包含0和1，它是一个二值图像）。

public static int[] findBestTranslation(int[][] arrayImage1, int[][] arrayImage2) {
    int[] bestTranslation = new int[2];
    int bestSimilarity = Integer.MIN_VALUE;

    int img2Length = arrayImage2.length;
    int img2Width = arrayImage2[0].length;
    
    List<int[]> whitePixelsImage1 = findWhitePixels(arrayImage1);
    List<int[]> whitePixelsImage2 = findWhitePixels(arrayImage2);
    boolean[][] checkedOffsets = new boolean[img2Length * 2][img2Width * 2];
    
    int i = 0;
    for (int[] pixel1 : whitePixelsImage1) {
        System.out.println(i++ + ": " + bestSimilarity);
        for (int[] pixel2 : whitePixelsImage2) {
            //calculate translation
            int xOffset = pixel2[0] - pixel1[0];
            int yOffset = pixel2[1] - pixel1[1];

            // Check if this offset has been selected before
            if (checkedOffsets[xOffset + img2Length][yOffset + img2Width]) {
                continue;
            } else {
                checkedOffsets[xOffset + img2Length][yOffset + img2Width] = true;
            }

            int similarity = 0;
            for (int[] pixelNotTranslated : whitePixelsImage1) {
                int xTranslated = pixelNotTranslated[0] + xOffset;
                int yTranslated = pixelNotTranslated[1] + yOffset;
                if (xTranslated >= 0 && xTranslated < img2Length && yTranslated >= 0 && yTranslated < img2Width) {
                    similarity += arrayImage2[xTranslated][yTranslated];
                }
            }

            if (similarity > bestSimilarity) {
                bestSimilarity = similarity;
                bestTranslation[0] = xOffset;
                bestTranslation[1] = yOffset;
            }
        }
    }

    return bestTranslation;
}

Answer 1

我不会说 Java，但我认为你想要一个 “相位相关”，你可以在 Python 中使用 scikit-image 来实现，如下所示：

#!/usr/bin/env python3

import numpy as np
from skimage import io
from skimage.registration import phase_cross_correlation

# Define image names and load them
im1name = 'MVlJh.png'
im2name = 'XSj05.png'
im1 = io.imread(im1name)
im2 = io.imread(im2name)

# Peform phase correlation
shift, error, diffphase = phase_cross_correlation(im1, im2)

print(f'Detected pixel offset (y, x): {shift}')

对于您的两张图像，它会在大约 1 秒内输出以下内容：

Detected pixel offset (y, x): [-97. 171.   0.]

我猜你可以使用某种类型的 exec() 或

system()

函数“壳出”Python，或者找到相位相关技术的 Java 实现。