我想使用angular创建一个Web爬虫/刮板Web应用程序。想法是使用客户端发出所有http请求。使用无头浏览器可以消除解析Html和评估JS代码的许多麻烦。我可以使用任何无头基于JS的浏览器吗?我读到无头铬和木偶戏。事实证明,它只能从命令行用于运行测试,而不能像可以使用angular的典型库那样使用。还是有办法?
我本人是刮板人。这就是我解决问题的方式
我目前正在使用上述相同策略创建解决方案。希望对您有所帮助。
Edit1:如果您需要一个有效的演示,请告诉我。我觉得很简单。