`Scrapyd`是管理`Scrapy`项目的守护进程。该项目曾经是“scrapy”本身的一部分，但被分离出来，现在是一个独立的项目。它在一台机器上运行，允许您部署（也称为。上传）您的项目并使用JSON Web服务控制它们包含的蜘蛛。
回溯（最近一次调用最后一次）： 文件“/usr/local/bin/scrapyd-deploy”，第 273 行，位于 主要的（） 文件“/usr/local/bin/scrapyd-deploy”，第 95 行，在 main 中 蛋，tmpdir = _build_egg() 文件“/usr/
“在 Windows 上使用 scrapyd-deploy 将 Scrapy 项目部署到 Scrapyd 时出现权限错误”
我正在尝试使用 scrapyd-deploy 将 Scrapy 项目部署到 Windows 环境上的 Scrapyd，但遇到了 PermissionError。 这是我的环境： 操作系统：Windows 10 Python版本：3.11
无法在Scrapy的Settings.py中检索Scrapyd部署的环境变量
我是 Scrapy 新手，目前正在尝试将我的蜘蛛部署到 Scrapyd 服务器。但是，我遇到了一个问题，我似乎无法在 Scrapy 设置文件中使用 os.getenv 。 这是嗬...
我正在作为一名初级数据科学家从事一个项目 在我抓取了几个网站后，他们要求我自动化抓取过程 我使用 scrapy 作为这个问题的框架，并使用 mongoDB 来解决...
使用 Schedule.json 将 PHP 中的 CURL 转换为 SCRAPYD 不返回任何内容
我已经在我的服务器上设置了Scrapyd，一切似乎都工作正常。我可以使用 CURL 来获取我的蜘蛛列表，就像这样curl -u super:secret http://111.111.111.111:6800/listspiders.json?pro...
在scrapyd中，如何通过schedule api传递FEED_URI值
我希望 scrapyd 在云上运行我的蜘蛛，为此我想将 FEED_URI 的值作为 scrapyd 命令中的参数传递。 目前我在自定义设置中使用以下配置来存储
我正在尝试使用Python获取网站的代码。问题是，当我尝试使用 cloudscraper 创建 GET 请求时，它返回以 HTML 生成的即时代码。 在这个网站上，有些...
我使用scrapyd在本地机器上部署和调度我的蜘蛛。我现在面临的挑战是部署我的蜘蛛，用无头浏览器执行。我在日志文件中得到两个错误，在 ...
我正在做一个scrapy项目。我想知道如何将一个参数传递给spider类。我想把关键字参数(file_path='C:\')传递给我的spider类中的字典变量。我尝试...
Scrapyd-Deploy。由于使用os路径设置目录而导致的错误。
我试图通过scrapyd-deploy部署一个scrapy项目到远程scrapyd服务器。这个项目本身是有功能的，在我的本地机器上和远程服务器上都能完美地工作，当我部署它时......
我正在做一个scrapy项目。我想知道如何从scrapyd api-call中传递一个参数到spider类。我想把关键字参数(file_path='C:\')传递到字典变量中。
我可以在本地运行一个爬虫，从scrapy项目内部的本地文件中读取一些输入。用scrapyd-deploy部署失败，因为本地文件不在包里。 在 ...
看来要么是scrapyd的文档出了问题，要么是存在bug。我想从已部署的项目中获取蜘蛛的列表，文档告诉我这样做： curl http:/...
我有一个工作中的scrapy 2.1.0项目，在这个项目中，我将数据写入一个json文件： def open_spider(self, spider): self.file = open('data'+ datetime.datetime.now().strftime ("%Y%m%d") + '_' + spider.name + ...
我试图在我的ubuntu服务器上运行scrapyd，它有一个公共IP，使用以下配置文件scrapy.cfg [settings] default = web_crawler.settings [deploy:default] url = http:/127.0.0.1:。
无法将.egg文件添加到scrapyd addversion.json
我遇到的问题是我无法使用curl http://127.0.0.1:6800/addversion.json -F project = scraper_app -F version = r1 egg=@scraper_app-0.0将我的.egg文件上传到scrapyd。 1-py3.8.egg其返回一个...
我正在使用scrapy 2.1版运行scrapyd 1.2，然后守护进程突然停止正常工作。它将计划作业，但是一秒钟后它们将结束，状态为“已完成”，并且此文件的日志文件...
scrapyd-deploy with“ deploy failed（400）”
我正在尝试将scrapyd-deploy部署到远程scrapyd服务器，该服务器失败且没有错误消息：％scrapyd-deploy / Library / Frameworks / ...
Scrapyd-Deploy：找不到SPIDER_MODULES
我正在尝试使用scrapy-deploy 1.2部署一个scrapy 2.1.0项目并收到此错误：scrapyd-deploy示例/Library/Frameworks/Python.framework/Versions/3.8/bin/scrapyd-deploy:23：.。 。