我正在使用scrapy 2.1版运行scrapyd 1.2,然后守护进程突然停止正常工作。它将调度作业,但是它们将在一秒钟后结束,状态为“完成”,并且该蜘蛛的日志文件将其显示为最后一行:
2020-05-17 07:28:56 [scrapy.extensions.telnet] INFO: Telnet Password: d65ea0bd25f75ea0
没有退出消息或错误消息,为什么它停止或失败。
我昨天安装了Spidermon以及其他工具,但是在开发服务器上,一切正常运行,生产服务器成功完成了数小时前开始的另一项工作。现在只有新蜘蛛会失败。
同时,我停止了守护程序,然后再次启动它,现在它直接在终端中输出日志。
安排蜘蛛返回:
File "<frozen importlib._bootstrap>", line 973, in _find_and_load_unlocked
ModuleNotFoundError: No module named 'spidermon'
很显然,安装未按预期进行。
现在归结为两个问题:
我正在使用scrapy 2.1版运行scrapyd 1.2,然后守护进程突然停止正常工作。它将计划作业,但是一秒钟后它们将结束,状态为“已完成”,并且此文件的日志文件...
通过卸载Spidermon并重新安装系统范围解决了该问题: