与Cassandra的Storm-Crawler集成和在Gradle中构建拓扑

问题描述 投票:0回答:1

我试图在我的项目中实现Storm-Crawler,但是我需要与Cassndra和Gradle合作。我对Storm-Crawler和ElasticSearch堆栈很感兴趣,但是在这种情况下,我不得不使用此解决方案。我尝试了几次用gradle构建uber jar,但是没有成功。有没有人在gradle中构建Storm-Crawler拓扑?我将Apache-Storm配置为使用Cassandra,但是如何将来自Strom-Crawler的数据放入Cassandra?

cassandra apache-storm stormcrawler
1个回答
0
投票

恐怕对Gradle束手无策,但对于Cassandra而言:您想在其中存储文档的内容和元数据还是要使用它来存储有关URL的信息(如状态索引中的ES)?对于前者,实现您自己的扩展AbstractIndexerBolt的索引器,对于后者,您将需要状态更新器和spout,这会稍微复杂一些。]

© www.soinside.com 2019 - 2024. All rights reserved.