从单独的python脚本运行的蜘蛛

Question

我想知道什么是运行从另一个python脚本蜘蛛的最佳途径。我scrapy项目由4个不同的蜘蛛，它们都创建一个帮助其他蜘蛛工作，有的已经阅读一些文件的工作文件。这部分已经完成，但个别（运行蜘蛛从控制台分开）。

如何我举个例子，做这样的事情

if (productToSearchIsBlue):

    #Make one spider crawl

else:

    #Make another spider crawl

我的最终计划是完整的程序上传到云中，并使其自动运行，可以这样做？

我找到了一些回答这个问题，但他们是很老，可能是scrapy的另一个版本。

Answer 1

假设你拥有一切设置正确，这里是一个简单的例子作为每documentation。

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings


process = CrawlerProcess(get_project_settings())

productToSearchIsBlue = False

if productToSearchIsBlue:
    # Make one spider crawl
    process.crawl('spider-one')
else:
    # Make another spider crawl
    process.crawl('spider-two')

process.start()

然后，您可以在云服务器上运行此。但我不能回答这是否是你正在试图解决这个问题的最佳解决方案。