Scrape Wikipedia“ prop = linkshere”更有效？

Question

我的抓取代码有效，但效率似乎很低：我必须发送不计其数的“继续”请求才能获得全部。这是最初的请求：

https://en.m.wikipedia.org/w/api.php?action=query&prop=linkshere&format=json&maxlag=2&titles=Korn

并且我得到一个延续号码，所以我跟着：

https://en.m.wikipedia.org/w/api.php?action=query&prop=linkshere&format=json&maxlag=2&titles=Korn&lhcontinue=20653

一遍又一遍，直到最后。每个请求给出的总数据量很少。

我是否缺少一些简单的方法来获取每个请求的更多数据？谢谢！

Answer 1

每个响应的默认lhlimit为10。将其更改为lhlimit，例如max。