在没有zookeeper，nimbus依赖的情况下以本地模式运行storm crawler

我在mysql中存储url，在lucene中存储索引数据。我正在使用tomcat在多台机器上运行storm crawler作为applcation服务器。我真的需要zookeeper，nimbus和storm来在服务器之间分配urls（来自mysql）吗？

web-crawler apache-storm stormcrawler

1
投票

问：我是否需要Storm集群才能运行StormCrawler？

答：不可以。它可以在本地模式下运行，只使用Storm库作为依赖项。以伪分布式模式安装Storm是有意义的，这样您就可以使用其UI来监控拓扑。