Python Web Scraping-在访问公司/办公室网络中的某些公共站点时获得超时连接。要避免这种情况的任何设置/代理？ 。任何建议...
[许多网站不喜欢漫游器在其平台上爬行。例如，如果您喜欢和评论的次数过多，Instagram等社交媒体网站将使您无法喜欢和评论图片。但是，其他站点暂时禁止使用您的IP。
我建议您先搜索要抓取的网站是否有可用的API。如果没有，您可以尝试请求他们的许可。
否则，您不应尝试抓取他们的网站。这是他们的网站，您应该尊重他们的意愿，不要让它刮到。