如何更改 scrapy-playwright 中的 context_count

Question

我想知道如何更改 scrapy-playwright 中的 context_count 。

我认为我们还需要更改 max_concurrent 。这是正确的吗？

'playwright/context_count': 1,
'playwright/context_count/max_concurrent': 1,
'playwright/context_count/persistent/False': 1,
'playwright/context_count/remote/False': 1,
'playwright/page_count': 9,
'playwright/page_count/max_concurrent': 8,

似乎增加 PLAYWRIGHT_CONTEXT_COUNT 会加快抓取速度，这是正确的吗？

请帮助我。

我尝试在custom_settings中设置PLAYWRIGHT_CONTEXT_COUNT，但它没有改变。

例如：

custom_settings = {
        "PLAYWRIGHT_CONTEXT_COUNT": 5,
}

Answer 1

要在 scrapy-playwright 中调整

context_count

，使用

PLAYWRIGHT_CONTEXT_COUNT

就走在正确的轨道上。如果更改

PLAYWRIGHT_CONTEXT_COUNT

中的

custom_settings

不起作用，请确保您使用的是最新版本的 scrapy-playwright，因为旧版本可能无法正确支持此设置。此外，调整

max_concurrent

确实可以帮助管理并行运行的任务数量，这会影响速度。但是，增加这些值只会加快抓取速度，但仅限于您的系统或网络限制。过度可能会导致收益递减，甚至被目标网站屏蔽。