这是什么类型的计算机视觉任务？

Question

我正在寻找哪种算法或计算机视觉任务（深度学习任务）可以实现以下目标：

我的源图像是：

我想创建如下分段：

什么类型的任务或算法或一系列步骤可以产生这种结果？

我已经尝试过：

• 使用深度学习的分割模型。但它并不总是产生最好的结果。

我在想：

• 如果我们可以将 OpenCV 前/后处理类型的任务对与基于深度学习的语义分割相结合，我们就可以实现这一目标。

有什么建议吗？

Answer 1

这是计算机视觉中的（语义）分割任务。深度学习可用于进行语义分割。深度学习有很多方法。

您正在尝试在航拍图像中分割住宅区，因为您的住宅区在输出蒙版中是白色的，而道路是黑色的。但人们通常会采取相反的做法，即将道路分段。通过搜索“航拍图像中的道路分割”，您可以在网上找到很多教程（example）。一旦你对道路进行了分段，你就可以对输出取负值以获得黑色道路。

为了获得最佳结果，您将需要标记数据。一种快速的方法是使用其他人的数据（和/或模型），然后对您自己的标记数据进行微调。您可以在互联网上找到其他人的数据（例如：Toronto Univ data）。您可能需要大约 200-300 个自己的标记图像进行微调（迁移学习）。

Answer 2

您上面收到的建议是一个很好的起点。它对手头的任务、要采用的深度学习方法进行了高级概述，并谈到了对标记数据的需求。然而，还有其他见解和细节可以帮助阐明前进的道路并提供更具可操作性的指南：

任务特殊性：澄清虽然道路分割很常见，但分割住宅区需要关注这些区域的独特特征。这可能包括屋顶、车道、花园和游泳池，而不仅仅是道路的负空间。

模型架构和迁移学习：提及以语义分割成功而闻名的特定神经网络架构，例如 U-Net、FCN（全卷积网络）和 DeepLab。解释在类似任务上使用预先训练的模型可以减少对大型标记数据集的需求，因为这些模型已经学习了可以转移到您的任务的有用表示。