如何防止机器人在 CodeIgniter 中创建会话？

Question

我正在使用 CodeIgniter 并将会话存储在我的数据库中。 在短时间内，机器人/蜘蛛等会创建大量会话。

有办法防止这种情况发生吗？也许通过 .htaccess？

Answer 1

首先，您应该在域的 Web 根目录中创建一个 robots.txt 文件来解决两个问题。首先控制网站的爬行速度，这有助于防止机器人/蜘蛛同时创建大量数据库连接。其次，防止特定机器人爬行网站。使用以下默认值，但是您可能想要添加或删除拒绝的用户代理，并调整爬网速率

示例代码：

User-agent: *
Crawl-delay: 10

User-agent: Baiduspider
Disallow: /

User-agent: Sosospider
Disallow: /

使用 /robots.txt 时有两个重要的注意事项：

1. 机器人可以忽略您的/robots.txt。尤其是扫描网络安全漏洞的恶意软件机器人，以及垃圾邮件发送者使用的电子邮件地址收集器，将不会引起注意。
2. /robots.txt 文件是公开可用的文件。任何人都可以看到您不希望机器人使用服务器的哪些部分。