如何在javascript文件中执行scrapy python？

Question

我有一个python脚本，我用命令scrapy crawl mynamefile启动。

我想从我的python应用程序中的scrapy crawl文件运行js cli命令node js，然后在控制台中显示它。

问题是我不知道如何在节点中导入scrapy python库。

谢谢你的帮助！

Answer 1

我不认为从NodeJS运行Python代码是个好主意。如果由于某种原因被迫这样做，你可能需要在子进程中调用Python脚本（参见例如this article）。

或者，您可以使用类似Scrapyrt的东西，它为您的Scrapy项目公开HTTP API并提供按需抓取功能。

然而，最好的选择似乎是使用一些原生的JavaScript抓取解决方案，如Apify。