使用Robots.txt阻止IP或用户代理

Question

我的网站一遍又一遍地受到机器人攻击，它正在使用我服务器上的所有 SQL 资源。

66.249.**.** Mozilla/5.0+(compatible;+GoogleDocs;+apps-spreadsheets;++http://docs.google.com) - 200 0 0 796

robots 文件中是否有任何方法可以阻止

GoogleDocs;+apps-spreadsheets

甚至 IP 地址。

我只需将以下内容添加到我的机器人文件中吗？

User-agent: GoogleDocs
Disallow: /

Answer 1

robots.txt

文件不会强制执行任何内容。大多数爬虫都会尊重它，但任何恶意的机器人当然不会尊重它。 唯一的解决方案是通过在用户代理上进行匹配来在服务器端阻止它。例如，这可以通过 Apache 和 Nginx 实现。