以指数方式延迟对 php 中同一文件的重复请求

Question

我希望防止机器人抓取我们的网站并下载那里托管的数千张图像。

我最近读了这篇文章https://github.com/remy/password-policy，了解密码策略的最佳实践。其中一个想法是通过不限制人类而是惩罚机器人来以指数方式延迟重复请求。

这在 php 中可能吗？

Answer 1

最简单的方法是将相关的URL重写为PHP脚本，从而实现下载。这会

保留源地址列表（例如在memcached中）及其最后时间戳和惩罚时间
根据时间戳将惩罚时间加倍或归零，
将记录写回
最后睡觉并进行下载。