我正在作为一名初级数据科学家参与一个项目 在我抓取了几个网站后，他们要求我自动化抓取过程 我使用 scrapy 作为这个问题的框架，并使用 mongoDB 来存储数据。
我进行了研究，发现 scrapyd 和气流可以让你这样做。
我从气流开始，但我发现气流 dags 检测我的 scrapy 项目非常复杂。 根据您的专业知识，尽可能简单地实现 scrapy 自动化的最佳方法是什么。
非常感谢您的帮助
也许你可以使用Crawlab，点击这里！我工作中用过5.0版本，觉得还可以。