带有旋转代理的Phantom.js / Casper.js?

问题描述 投票:7回答:2

我有一个简单的目标:使用phantom.js(即装即用)或casper.js(既好又容易)来加载网页,但如果当前页面不好(例如,使用列表来旋转网页)网页加载失败或类似问题。我知道casper.js具有--proxy参数,但它指示用户仅指定一个代理并在运行时使用它。

问题1:如何以编程方式实时旋转代理?

我进行了一些研究,发现了此node-requester,但未与casper.js集成。我试图只提取code中的代理功能,但实际上并不太了解它的工作原理(我想我并不那么聪明)。

所以问题2:是否有一些简单的代理轮换实现与phantom.jscasper.js一起使用?

尽管我更喜欢使用奇特的casper.js,但也会在phantom.js裸露的情况下使用。

我有一个简单的目标:使用phantom.js(即开即用)或casper.js(既好又容易)加载网页,但如果当前的效果不好(例如,网页加载失败或...

javascript node.js phantomjs casperjs proxy-server
2个回答
6
投票
前一段时间,我遇到了同样的问题,我使用了PhantomJS。我们最终得到的解决方案是将PhantomJS作为较大的Java / Scala服务器的子进程运行,然后处理故障并在需要时分配不同的代理(通过在--proxy arg中使用不同的参数重新运行)。

0
投票
尽管我的想法是相同的,但我对Puppeteer也有同样的问题。
© www.soinside.com 2019 - 2024. All rights reserved.