对于计算机视觉中的图像标题问题，如果训练的模型遇到一些从未出现在数据集中的对象，会发生什么？

Question

我刚开始专注于关于图像标题的研究，图像标题是CV的一个子领域。众所周知，像其他深度学习训练过程一样，你必须基于训练集和模型训练模型准备好了，你可以使用它。所以我在图像标题问题中有一个问题，如果训练的模型包含一些从未出现在数据集中的对象，会发生什么？谢谢你的回复！

Answer 1

可能会发生两件事中的一件：

1. 该对象被归类为数据集类别中的某些内容，文本生成器将选择此类来构建句子。
2. 无法识别对象，帧的其余部分用于生成句子。

它取决于实际类与数据集中内置的任何内容的密切关系。如果对象支配框架内的区域，则第一个选项仍然更有可能。您可以设置一个手动阈值，将丢弃的类信息置于一定置信度以下。