Pyspider控制台:没有找到phantomjs,继续运行。

问题描述 投票:0回答:1

我试着用Pyspider启动一个scraping项目,我安装了所需的库。

  • Pyspider
  • PhantomJs
  • 龙卷风
  • Wsgidav (需要2.4版本)
  • Jsmin

OK,安装后我得到了这个错误

文件 "c:\users{:))}\appdata\local\programs\python\python37lib\sit-packages\pyspider\run.py", >第231行。

async=True, get_object=False, no_input=False)。

SyntaxError: invalid syntax

我解决了这个问题,把所有的python关键字"异步"变量名称的另一个名称"_async"(因为我用的是python 3.7,而这个版本已经设置了 异步 词)

我又用命令启动了这个项目。

python -m pyspider.run

并得到了那些错误:

C:Users/yosser/AppData/Local/Programs/Python/Python37-32/lib/sit-packages/pyspider/libs/utils.py:196: FutureWarning: 您的平台不支持超时。

warnings.warning("您的平台不支持超时。", FutureWarning)

[W 200425 12:55:44 run:413] 未找到 phantomjs,没有它就继续运行。

[I 200425 12:55:46 result_worker:49] result_worker 启动... ...

[I 200425 12:55:47 processor:211] 处理器开始运行... ...

[I 200425 12:55:47 scheduler:647] 调度器开始... ...

[I 200425 12:55:47 scheduler:586] 5m内:new:0,success:0,retry:0,fail:0。

[I 200425 12:55:47 result_worker:66] result_worker退出......。

[I 200425 12:55:47 scheduler:782] scheduler.xmlrpc监听127.0.0.1:23333。

[I 200425 12:55:48 tornado_fetcher:638] fetcher开始......。

[I 200425 12:56:47 scheduler:586] in 5m: new:0,success:0,retry:0,fail:0。

Pyspider服务器宕机了(localhost:5000未找到)对于这个问题,我怀疑输出行。

[W 200425 12:55:44 run:413] phantomjs not found, continue running without it.

我把文件改成了 "webuiwebdav.py" 据此 答辩器但没有好消息 拜托,我需要结束这一切 坏消息 asp,谢谢你。

python web-scraping phantomjs pyspider
1个回答
0
投票

async 在python 3.x中被用作关键字。因此,当在 python 3.x.上使用 pyspider 时。你需要重命名 异步_async 中的所有必要文件。 从启动pyspider时导致控制台出错的文件和行开始。

要使用PhantomJS,需要安装PhantomJS。如果您以全模式运行pyspider,如果PATH中的excutable,则会启用PhantomJS。

确保Phantomjs能够正常工作,请运行

$ pyspider phantomjs

PhantomJS已经安装好,并放在PATH的某个地方?

© www.soinside.com 2019 - 2024. All rights reserved.