我有所有维基百科文章的列表,我想为研究目的刮一个尸体。我的脚本运行正常,但以目前的速度,这将连续需要40天。
我的问题是:
我可以运行此脚本,假设在不同的终端窗口中并行运行10次。如果我这样设置:
脚本1:起点:0终点:len(list)/ 10
脚本2:起点起点:len(list)/ 10终点:len(list)/(10 * 2)
...
脚本10
依此类推。
这可能让我有4天的时间,这是合理的imo。
我的方法行得通吗?有没有更好的方法?
感谢。
可能,理想否。您为什么认为它运行这么慢?您还在使用Wiki API还是在抓取网站?有一些因素会影响这两者中的任何一个,因此了解您的实际状况将有助于我们提供更好的答案。