有人可以简单地解释FlowNet中的相关层吗？

Question

我目前正在阅读论文“ FlowNet：使用卷积网络学习光流”，但在理解相关层时遇到了麻烦。

我似乎在Google上找不到任何解释，所以我认为我应该问她：

1. [当论文讨论将f_1中的每个补丁与f_2中的每个补丁进行比较时，其中f_1和f_2是维度w h c的特征图，它们对补丁的含义是什么？我们是在谈论要素地图中的要素补丁还是原始图像之一中的像素补丁？

2. x_1和x_2是什么？它们是特征图中的特征像素（1 * 1 * c）吗？它们是坐标值吗？

3. f_1（x_1 + o）的确切含义是什么？

非常感谢！

Answer 1

1. 要素地图中的要素补丁
2. 特征图中的特征像素（1 * 1 * c）
3. 特征像素位于距x1的距离o中

Flownet中的相关层从特征图（第一特征图和第二特征图）计算补丁。

enter image description here

为了计算特征像素x1和特征像素x2之间的相关性，相关层计算以x1和x2为中心的窗口（大小（2k + 1,2k + 1））之间的点积。因此他们只是在Windows元素之间做点积并将其加起来。

Answer 2

从特征图2中仅提取一次21x21x256补丁，然后将特征图1中的每个1x1x256内核与此（21x21x256）补丁进行卷积。

更多说明：仅将特征图1的每个（1x1x256）内核与补丁（21x21x256）的pixel-1卷积以获得一个特征图，然后再次将特征图1的所有（1x1x256）内核与pixel -2（21x21x256）补丁获得第二个特征图对于（21x21x256）补丁的所有像素，将继续执行此过程，直到获得441个特征图，该特征图等于扩展特征图中的像素数。please look at this figure

以上提到的概念正确吗？