在 python scrapy 中，我们如何知道一个类别 url 已完全废弃该类别中的所有产品

Question

我正在使用 python scrapy 来抓取一个网站，当类别 url 完全抓取该类别中的所有产品时，我想调用 self.category_success() 方法。

    for url_dict in self.categories:
        url = url_dict['url'] if url_dict['url'].startswith('http') else f"http:{url_dict['url']}"
        yield scrapy.Request(
            url = url,
            callback=self.pagination,
            headers=self.__set_headers(),
            cb_kwargs=dict(
                main_category="None",
                sub_category="None",
            ),
            meta=set_proxy(),
        )
        self.category_success()
    def category_success(self):
        print("This category is scrapped completely")