如何扫描游戏记分牌以获取详细信息

Question

我希望能够从游戏记分牌的屏幕截图中提取数据，并正在寻找有关如何开始的指导。我希望它能够处理多种分辨率和宽高比的组合（记分板根据游戏分辨率和宽高比进行缩放和移动）。

我在下面附上了示例屏幕截图，包括我想要提取的内容。

• 绿色圆圈：“幸存者”队伍中的每个玩家是否逃脱（前 3 个）或死亡（最后一个）
• 红框：角色名称
• 黄色框：从左到右，4 个福利（每个可识别），1 个产品，1 个项目，然后 2 个插件
• 橙色框：每位玩家的得分

请注意，我已经隐藏了玩家姓名和聊天内容。

首先，我尝试使用 OpenCV 来检测记分板上水平线的位置，并尝试估计它在哪里，但无济于事，我认为我正朝着错误的方向前进。

在我花更多时间尝试学习新东西之前，我想要一个如何去做的计划。在我的脑海中，大致如下，但我想要一些关于实现它的最佳方法的建议。

我认为我需要一些对象检测（可能使用 Tensorflow - 请提出建议）来定位记分板上的项目（例如福利、产品、项目、插件）。

然后，在我获得福利等的位置后，我可以使用一些对象分类来识别每个福利/产品/项目/插件。然后我可以使用这些位置来查找 OCR 区域，以找出角色名称、分数等。

我在现实世界中还没有真正做过任何与计算机视觉和 TensorFlow 相关的事情，因此非常感谢您的指导。谢谢！

Answer 1

如果您要进行流媒体或录制，您可能需要查看 OBS 的免费 OCR 插件 或 ScoreSight，它允许为屏幕捕获区域设置 OCR。然后，您可以使用 OCR 信息显示在屏幕上或保存到文件。

我是这些工具的开发者。有问题就来咨询吧！