好的，我有一个网站，其中有一系列按钮，这些按钮调用 api 以返回与产品相关的信息。我遇到的问题是谷歌大约每 10 分钟访问并跟踪一次 api，这意味着我每天都要进行大量的查找。
我可以阻止谷歌机器人这样做吗？
我有一个 robots.txt 文件，没有跟随元，但他们似乎没有做太多事情。
如有任何建议，我们将不胜感激。
User-Agent: *
Disallow:/index/
Disallow /manufacturer/
我刚刚注意到页面没有扩展名，即制造商应该是Manufacturer.php
Google 网站管理员工具 将为您分析您的 robots.txt，并让您知道它的用途。我过去发现它非常有用。您只需粘贴您的 robots.txt，它就会指出任何缺陷。
如果失败，您可以访问论坛。