网络抓取工具在一段时间后变得缓慢

问题描述 投票:0回答:1

我已经编写了一个Python Web scrapper代码,并且正在尝试从动态网站获取数据,但问题是我正在从跟踪IP中抓取数据的网站会减慢响应时间。 现在我在代码中使用了一个条件,如果“x”秒内没有响应,它将暂停程序并要求用户更改IP,要更改IP,我使用免费代理软件:Psiphon (https://psiphon.ca/en/download.html?psiphonca),但它不会工作很长时间,可能是因为它们是免费的VPN。 也许我可以使用付费 VPN,但我不确定。

有什么办法可以解决这个问题吗?

python web-scraping timeout ip ip-address
1个回答
0
投票

所以我尝试了付费VPN服务:NordVPN,它解决了这个问题。 您可以从多个 VPN 中进行选择,例如 Express 或 Nord 或您认为最合适的 VPN。

© www.soinside.com 2019 - 2024. All rights reserved.