scrapyd 相关问题

`Scrapyd`是管理`Scrapy`项目的守护进程。该项目曾经是“scrapy”本身的一部分,但被分离出来,现在是一个独立的项目。它在一台机器上运行,允许您部署(也称为。上传)您的项目并使用JSON Web服务控制它们包含的蜘蛛。


在scrapyd安装后找不到Scrapyd-deploy命令

我创建了几个我打算与scrapyd同时运行的网络蜘蛛。我首先使用以下命令在Ubuntu 14.04中成功安装了scrapyd:pip install scrapyd,当我运行时......

回答 2 投票 7

请求在CURL中工作但不在Ajax中工作

我有一台运行Scrapyd服务器并尝试安排工作。当我在下面尝试使用CURL时,它正在工作,并且正在工作:http:// XXXXX:6800 / schedule.json -d project = stackoverflow -d spider = careers ....

回答 1 投票 0

在后台/作为服务运行Scrapyd的首选方法

我试图在虚拟Ubuntu 16.04服务器上运行Scrapyd,我通过SSH连接到该服务器。当我通过简单运行$ scrapyd运行scrapy时,我可以通过访问http://82.165来连接到Web界面....

回答 4 投票 1

记录每个作业的scrapyd日志文件

我将我的scrapy应用程序部署到scrapyd,并在每个作业的日志文件中:http:// {host}:6800 / logs / {project_name} / {spider_name} / {job_id} .log我没有看到日志我使用记录器记录我...

回答 1 投票 0

Scrapyd Deploy错误:EOFError:读取一行时的EOF

我有2台,PC A没有错误,爬虫已成功部署,但在PC B上,错误发生。我的Scrapyd服务器正在运行但是当我尝试部署我的爬虫时,这些错误......

回答 1 投票 0

作为守护进程运行的scrapyd无法找到蜘蛛或项目

spider的名称是quotes14,它在命令行中运行良好,即如果我从目录/ var / www / html / sprojects / tutorial /运行scrapy crawl quotes14,它在命令行中运行正常。我有 ...

回答 1 投票 0

如何使用Rabbitmq或Kafka来扩展Scrapy spider,它将user_id作为输入并从数据库中获取相应的url?

我已经构建了scrapy spider,它将user_id作为命令行参数并从数据库中获取url。现在我希望我的应用程序可扩展。与此同时,我正在寻找一些......

回答 1 投票 0

如何在Linux服务器上找到scrapyd logs文件?

scrapyd生成的日志文件占用了太多内存。我想找到并删除它。我该怎么找到它?

回答 2 投票 0

无法在Windows cmd中启动报废

我正在尝试使用scrapyd在Windows cmd中启动scrapyd,但是下面发生了错误。 C:\ Users \ Zheyuuu> scrapyd Traceback(最近一次调用最后一次):文件“d:\ anacaonda \ lib \ runpy.py”,第193行,......

回答 1 投票 0

Scrapy遇到http状态<521>

我不熟悉scrpay,并尝试抓取网站页面,但返回了HTTP状态代码<521>,这表示服务器拒绝连接吗? (我可以通过浏览器将其打开)我试图使用cookie ...

回答 1 投票 2
推荐问题