我正在写一个多站点蜘蛛。这些站点中的大多数都使用反蜘蛛方法或复杂的身份验证过程。 是否有工具或浏览器扩展可以记录登录页面之前和登录页面之后的所有网络请求并自动识别关键请求？那将非常有帮助。
因为每个站点的登录方式都不一样，而且很多登录参数是动态生成的，所以即使你记录了所有的请求。在大多数情况下，它可能没有用。