您可以同时运行python wikipedia api多次吗?

问题描述 投票:0回答:1

我有所有维基百科文章的列表,我想为研究目的刮一个尸体。我的脚本运行正常,但以目前的速度,这将连续需要40天。

我的问题是:

我可以运行此脚本,假设在不同的终端窗口中并行运行10次。如果我这样设置:

脚本1:起点:0终点:len(list)/ 10

脚本2:起点起点:len(list)/ 10终点:len(list)/(10 * 2)

...

脚本10

依此类推。

这可能让我有4天的时间,这是合理的imo。

我的方法行得通吗?有没有更好的方法?

感谢。

python web-scraping wikipedia wikipedia-api
1个回答
0
投票

可能,理想否。您为什么认为它运行这么慢?您还在使用Wiki API还是在抓取网站?有一些因素会影响这两者中的任何一个,因此了解您的实际状况将有助于我们提供更好的答案。

© www.soinside.com 2019 - 2024. All rights reserved.