从经过训练的 CNN 模型中提取颜色信息

Question

我目前正在解释用于图像识别的经过训练的 CNN 模型。具体来说，我想了解颜色信息如何在特征向量中表示，特别是在我用于余弦相似度或与注册匹配等任务的最后一层中。

考虑这样的场景，我有两个图像，我想识别与这些图像之间的颜色差异相对应的特征向量的特定部分。

我正在寻求有关从模型中提取信息的方法或技术的指导，这些信息可以帮助我区分特征向量中与颜色相关的特征。

可以采用哪些方法或工具来实现这一目标？任何见解或建议将不胜感激。

Answer 1

我找到了这个答案，但我不确定。

神经网络就是获取原始输入数据（RGB 值和像素位置）并学习与某些下游任务相关的有用特征。将原始输入聚合为更高级别特征的过程可以从输入之后的第一层开始。

所以，是的，只有网络的第一层使用图像中的实际原始颜色信息。除此之外，网络已经开始将附近的像素和不同的颜色通道组合在一起，以找到更复杂的模式。神经网络中的更深层通常会对早期层中学到的特征进行进一步聚合，而不是将原始颜色信息作为输入。

参考：https://ai.stackexchange.com/questions/5738/is-color-information-only-extracted-in-the-first-input-layer-of-a-convolutional