我想知道什么是运行从另一个python脚本蜘蛛的最佳途径。我scrapy项目由4个不同的蜘蛛,它们都创建一个帮助其他蜘蛛工作,有的已经阅读一些文件的工作文件。这部分已经完成,但个别(运行蜘蛛从控制台分开)。
如何我举个例子,做这样的事情
if (productToSearchIsBlue):
#Make one spider crawl
else:
#Make another spider crawl
我的最终计划是完整的程序上传到云中,并使其自动运行,可以这样做?
我找到了一些回答这个问题,但他们是很老,可能是scrapy的另一个版本。
假设你拥有一切设置正确,这里是一个简单的例子作为每documentation。
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
process = CrawlerProcess(get_project_settings())
productToSearchIsBlue = False
if productToSearchIsBlue:
# Make one spider crawl
process.crawl('spider-one')
else:
# Make another spider crawl
process.crawl('spider-two')
process.start()
然后,您可以在云服务器上运行此。但我不能回答这是否是你正在试图解决这个问题的最佳解决方案。