我正在尝试使用谷歌浏览器扩展webscraper.io刮取网站的表格。在扩展的教程中，记录了如何刮擦具有不同页面的网站，例如“页面1”，“页面2”和“页面3”，其中每个页面直接链接在主页面上。
然而，在website I am trying to scrape的例子中，只有一个“下一个”按钮可以访问下一个站点。如果我按照教程中的步骤创建“下一页”的链接，它将只考虑第1页和第2页。为每个页面创建“下一个”链接是不可行的，因为它们太多了。如何让webscraper包含所有页面？有没有办法使用webscraper扩展程序遍历页面？
我知道这可能重复：pagination Chrome web scraper。但是，它没有得到很好的接受，也没有任何有用的答案。
遵循高级文档here，通过使“分页”链接成为其自己的父级来解决问题。然后，抓取软件将递归地遍历所有页面及其“下一页”。用他们的话说，
要从所有分页链接中提取项目，包括在开头不可见的链接，您需要创建另一个选择分页链接的链接选择器。图2显示了如何在站点地图中创建链接选择器。当刮刀打开类别链接时，它将提取页面中可用的项目。之后它会找到分页链接并访问那些。如果分页链接选择器成为自己的子代，它将递归地发现所有分页页面。