我使用 Scrapy 框架作为网络爬虫。目标观察量约10亿，请求量约1000万。我检查了我的代码逻辑并确保它没问题。但是，有时请求会无故中断。我如何识别此错误并找到中断点并重试？
此外，我不确定Scrapy是否适合这种尺寸的网络爬虫。或者还有其他更好的方法来完成这个项目吗？
希望能找到请求失败的请求重新下载