如何按顺序发送python scrapy请求（从网站列表->网站->提取网页->网页（直到完成）->其他网站-> ....）？

Question

问题是我想让我的蜘蛛向不同的网站发送请求，在这两者之间我有一个回调，它提取当前网站域的所有链接并向它们发送请求并调用另一个回调函数。

所以，我希望一切都井井有条，即：

• 首先发送请求到第一个网站
• 然后到其提取的链接
• 完成后转到下一个网站
• 然后到其提取的链接

但是 scrapy 做的恰恰相反：

• 首先它向前 3 个网站发送请求
• 然后它以随机方式向所有网站的所有提取链接发送请求

我怎样才能避免这种行为？

注意：我正在同时更新谷歌电子表格上的数据，所以我需要它以这种有序的方式发送请求。

我已经尝试为请求提供优先级参数，但仍然保持不变。

我还设置了自定义设置参数

CONCURRENT_REQUESTS = 1