我在一些网页上用python做网页抓取，有些网页被屏蔽了。当我试图通过TOR浏览器检查时，我看到我也不能访问这些页面，所以我认为这些页面已经能够跟踪我的所有IP，或者我没有配置好TOR（我认为不是，因为我已经用Chrome和TOR检查了我的IP地址，并且是不同的），所以，任何人都知道为什么？
另外，我正试图在我的python代码中做一个函数或方法来自动改变mi IP。我看到的是，最好的办法是通过TOR浏览器来实现（用它作为搜索引擎从网页中获取数据），但我无法让它工作。你有什么建议来创建这个功能吗？
谢谢您
我希望反刮擦保护也阻止从已知的Tor出口节点的访问。我不认为他们知道这是你。一些网站雇用实施状态的最先进的刮擦保护服务。
你可以设置你自己的代理在朋友和家人，并使用一个非常保守的抓取率或也许搜索商业住宅代理产品。