我想知道是否有人可以给我一个如何用Node.js网页抓取多个页面的例子？我在网上找到例子，但我想抓一个搜索结果网页。然后，如果有一个“下一步”按钮移动到下一页并查看更多结果，我想移动到下一页并抓取它。
有没有人做过类似的事情？
谢谢！
我使用nightmare.js管理这样的事情。它让你click('#someElement')和wait('#someElement')，使用evaluate获取这些动作之间的页面内容。它必须在允许您这样做的网站上，请注意您可能需要使用while或使用页面计数的nightmare.exists的for，因为您可能需要使用可以获取所有指定元素的查询选择器，例如document.querySelectorAll('.nextPageElement').length（使用querySelectorAll）得到那个数。只是尝试在需要时继续使用variable lifting并且不要落入callback hell然后噩梦.js将完成这项工作。