Scrapy 设置可以使用 custom_settings 工作，但不能在 settings.py 中工作

Question

我一直在尝试编辑我的 Spider 中的一些设置，但它们似乎只有在我覆盖自定义 Spider 中的 custom_settings 字典时才起作用。

custom_settings = {
    'DOWNLOAD_DELAY': 1,
    'FEED_URI': 'generalspider.json',
    'FEED_FORMAT': 'json'
}

当我将它们放入 settings.py 时，它们似乎不起作用。 settings.py 应该适用于所有蜘蛛。我是不是错过了什么？

Answer 1

custom_settings

优先于

settings.py

。因此，您必须删除

custom_settings

中的变量才能使

settings.py

中的变量发挥作用。

另请检查您的蜘蛛的类是否派生自其他类（可能是蜘蛛），并且这些基类有自己的

custom_settings

。

Answer 2

您可以通过在

.env

文件中设置ENVVAR来告诉scrapy您的设置在哪里

像这样

ENVVAR=/scrapper/main/settings.py # path to your settings.py

或在你的主蜘蛛中

os.environ["ENVVAR"] = "The path to my settings.py file"