我有一个网站，每当用户打开特定项目的详细信息页面时，都会记录“点击（通过将记录保存到点击表，该表在加载详细信息页面时捕获计算机的日期/时间和 IP）”这样管理员就可以看到特定项目获得了多少点击量。
我们得到随机实例，其中物品每天两次被多次击中。因此，在数据中，看起来用户正在查看某个项目，但该网站在数据库中记录了两次点击（相同的项目、相同的日期/时间、相同的 IP 地址等）。
大多数点击仅被记录一次，我的所有测试都确保了网站正常运行。我注意到特定的 IP 地址会导致两次点击。当我进行反向 IP 搜索时，所有“双重命中”都与可追溯到美国另一边弗吉尼亚州北部 Amazonaws 的 IP 地址相关联。
我们的网站是本地使用的，单次点击来自本地IP。
是否有机器人从远处访问我的网站？我应该阻止 Azure 中的 Amazonaws（这是我的网站的托管位置）还是会阻止真正的用户？有没有办法可以检测我的代码中的点击是否真实（我的网站位于 .Net MVC 中）？
我发现我的点击计数器被网络爬虫夸大了。快速但肮脏的解决方案是实现 robots.txt 文件来阻止爬虫访问该页面。当然，如果公众通过谷歌搜索所提供的产品，我客户的网站将不再出现，这是一种牺牲。
一种替代方法是隐藏链接方法；我们在网站上放置了一个人类用户无法访问的隐藏页面。当机器人访问该页面时，我们会将 IP 记录在“黑名单”表中。然后，在我们真正的点击计数器记录点击之前，它会根据黑名单检查用户的 IP。
另一种选择是实施机器人使用的已知用户代理黑名单。我们根据该列表检查用户的凭据，以确定用户是否是机器人。
但这些解决方案都不是 100%。