差异CrawlerProcess和scrapy在scrapy中命令行爬行somespider?

问题描述 投票:0回答:1

案例1:scrapy crawl somespider类型多次(同时,使用nohup背景)

案例2:使用CrawlerProcess并在python脚本中配置multispider并运行

什么是差异案例?我已经尝试过使用5只蜘蛛的情况2但不是那么快。

scrapy
1个回答
1
投票

scrapy crawl为每个蜘蛛使用一个过程,而CrawlerProcess在一个过程中使用单个Twisted Reactor(同时也在我不太确定的情况下做一些事情)同时运行多个蜘蛛。

所以,基本上:

  1. scrapy crawl - >不止一个过程
  2. CrawlerProcess - >只使用Twisted Reactor运行一个进程
© www.soinside.com 2019 - 2024. All rights reserved.