我使用stormcrawler 1.16和ELasticsearch-7.2.0，java版本是1.8.0_252，storm版本是1.2.3，maven版本是3.6.3。
我使用mvn原型创建了一个项目--------。
mvn archetype:generate -DarchetypeGroupId=com.digitalpebble.stormcrawler -
DarchetypeArtifactId=storm-crawler-elasticsearch-archetype -DarchetypeVersion=LATEST
我做了一个seeds.txt文件，放了9个urls，只用于测试，并使用REAEDME.md文件中给出的命令在--远程模式下提交拓扑。
它运行成功，并按照意图抓取页面。
但是当我把8000个URLs放到seeds.txt文件中时，问题就出现了。
我再次运行ES_IndexInit.sh文件，并使用与之前相同的命令提交拓扑，然后我得到了这个错误--。
at java.lang.Thread.run(Thread.java:748) [?:1.8.0_252]
2020-06-12 11:26:11.416 c.d.s.e.p.AggregationSpout pool-12-thread-1 [ERROR] [spout #1] Exception with ES query
java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) ~[?:1.8.0_252]
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:714) ~[?:1.8.0_252]
at org.apache.http.impl.nio.reactor.DefaultConnectingIOReactor.processEvent(DefaultConnectingIOReactor.java:174) [stormjar.jar:?]
at org.apache.http.impl.nio.reactor.DefaultConnectingIOReactor.processEvents(DefaultConnectingIOReactor.java:148) [stormjar.jar:?]
at org.apache.http.impl.nio.reactor.AbstractMultiworkerIOReactor.execute(AbstractMultiworkerIOReactor.java:351) [stormjar.jar:?]
at org.apache.http.impl.nio.conn.PoolingNHttpClientConnectionManager.execute(PoolingNHttpClientConnectionManager.java:221) [stormjar.jar:?]
at org.apache.http.impl.nio.client.CloseableHttpAsyncClientBase$1.run(CloseableHttpAsyncClientBase.java:64) [stormjar.jar:?]
at java.lang.Thread.run(Thread.java:748) [?:1.8.0_252]
然后我在worker.log文件中查找错误，我在那里发现了同样的错误，然后我检查了我的碎片的健康状况------。
{
"cluster_name" : "my-cluster1",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 1,
"number_of_data_nodes" : 1,
"active_primary_shards" : 2,
"active_shards" : 2,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0,
"indices" : {
".kibana_task_manager" : {
"status" : "green",
"number_of_shards" : 1,
"number_of_replicas" : 0,
"active_primary_shards" : 1,
"active_shards" : 1,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"shards" : {
"0" : {
"status" : "green",
"primary_active" : true,
"active_shards" : 1,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0
}
}
},
".kibana_1" : {
"status" : "green",
"number_of_shards" : 1,
"number_of_replicas" : 0,
"active_primary_shards" : 1,
"active_shards" : 1,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"shards" : {
"0" : {
"status" : "green",
"primary_active" : true,
"active_shards" : 1,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0
}
}
}
}
}
shards的健康状况是绿色的，现在如果我在不同的项目或新项目中提交爬虫拓扑，拓扑仍然是理想的，并且没有发出或传递任何元组。
我使用的版本是否相互兼容？ 我应该使用java 11来做elasticsearch，还是可以的？
关于实例的细节 -我使用 ec2 medium intance ubuntu 18.04，内存 4 GB。
谁能解释一下这个问题是什么？
你应该不需要再次运行ESInitScript，除非你想删除状态索引中的URLs。如果你运行了不止一次，状态中就会什么都没有，这可能是拓扑空闲的原因。
种子文件中的URL越多越好，没有任何理由会造成问题，我们经常有> 1M的URL的种子文件，这不是问题。