`Scrapyd`是管理`Scrapy`项目的守护进程。该项目曾经是“scrapy”本身的一部分，但被分离出来，现在是一个独立的项目。它在一台机器上运行，允许您部署（也称为。上传）您的项目并使用JSON Web服务控制它们包含的蜘蛛。
如何使用Scrapyd和ScrapydWeb在整个群集中分布蜘蛛程序？
我正在使用Scrapy在抓取项目中工作，我需要在群集的不同节点之间分布我的Spider，以加快该过程。我正在使用ScrapydWeb进行管理，我有...
Scrapyd：没有活动的项目-如何使用scrapyd安排蜘蛛
我正尝试在scrapyd 1.2 curl的帮助下计划一个scrapy 2.1.0蜘蛛-不安全的http：// localhost：6800 / schedule.json -d project = bid -d spider = test从理论上讲，这应该开始抓取...
如何在ubuntu上为所有用户安装scrapyd 1.2.1？
我正在尝试在Ubuntu 18.04上安装scrapyd。因此，我做了一个pip3安装scrapyd，它现在已经以某种方式安装在我的本地目录下：merlin @ spider1：〜$ scrapyd 2020-05-03T15：16：17 + 0200 [-] ...
为什么将我的工作蜘蛛部署到云平台后，现在只能获得400个响应？
我已使用scrapyd将我的Spider部署到云平台。蜘蛛可以在本地计算机上正常工作。但是现在它只能得到http 400的响应。被禁止吗？或硬件无法处理频繁的...
我不熟悉scrpay，并尝试抓取网站页面，但返回了HTTP状态代码<521>，这表示服务器拒绝连接吗？ （我可以通过浏览器将其打开）我试图使用cookie ...
我正在尝试使用scrapyd在Windows cmd中启动scrapyd，但是下面发生了错误。 C：\ Users \ Zheyuuu> scrapyd Traceback（最近一次调用最后一次）：文件“d：\ anacaonda \ lib \ runpy.py”，第193行，......
如何使用Rabbitmq或Kafka来扩展Scrapy spider，它将user_id作为输入并从数据库中获取相应的url？
我已经构建了scrapy spider，它将user_id作为命令行参数并从数据库中获取url。现在我希望我的应用程序可扩展。与此同时，我正在寻找一些......
spider的名称是quotes14，它在命令行中运行良好，即如果我从目录/ var / www / html / sprojects / tutorial /运行scrapy crawl quotes14，它在命令行中运行正常。我有 ...
Scrapyd Deploy错误：EOFError：读取一行时的EOF
我有2台，PC A没有错误，爬虫已成功部署，但在PC B上，错误发生。我的Scrapyd服务器正在运行但是当我尝试部署我的爬虫时，这些错误......
我将我的scrapy应用程序部署到scrapyd，并在每个作业的日志文件中：http：// {host}：6800 / logs / {project_name} / {spider_name} / {job_id} .log我没有看到日志我使用记录器记录我...
我试图在虚拟Ubuntu 16.04服务器上运行Scrapyd，我通过SSH连接到该服务器。当我通过简单运行$ scrapyd运行scrapy时，我可以通过访问http：//82.165来连接到Web界面....
我有一台运行Scrapyd服务器并尝试安排工作。当我在下面尝试使用CURL时，它正在工作，并且正在工作：http：// XXXXX：6800 / schedule.json -d project = stackoverflow -d spider = careers ....
在scrapyd安装后找不到Scrapyd-deploy命令
我创建了几个我打算与scrapyd同时运行的网络蜘蛛。我首先使用以下命令在Ubuntu 14.04中成功安装了scrapyd：pip install scrapyd，当我运行时......