Imagesearch + pyautogui自动化Python 3.8

Question

我正在尝试同时使用'Pyautogui'和'Imagesearch'这两个库来自动完成游戏中的任务。该任务要求您在“罢工”时按下空格键。文字出现在角色上方。我设法做到了这一点。我当前拥有的代码是：

import pyautogui

while True:
    pos = imagesearch_loop("./strike.png", 0.5)
    if pos[0] != -1:
        print("position : ", pos[0], pos[1])
        pyautogui.press('space')

    else:
        print("image not found")

但是，在您罢工之后，您应控制其他钓竿以钓到鱼。此栏为

您的意思是让鱼周围的绿色小框在鱼左右移动时将其包围。我可以想象比较两个x，y位置，然后按相应的键，但是我不确定这样做的最佳方法是什么。

[我钓到鱼后，还必须使用鼠标在特定的地方使用诱饵，如何添加此按钮以获取鼠标位置，然后将鼠标移到那里并单击。

提前感谢

Answer 1

[有一个很好的pynput库来控制鼠标/键盘，还可以跟踪它们的动作，使用起来很简单，并且文档已经包含了您需要的一切。

我认为[mss是捕获屏幕图像并将其转换为numpy数组的最快方法，您还可以使用opencv库来分析图像，例如color detection或[ C0]，轮廓的表达，并在所需区域的中心之后