我使用https://hub.docker.com/_/storm/在单独的docker容器中运行Apache Storm Nimbus和Supervisor。容器在同一AWS EC2实例上运行。我用来启动Nimbus容器的命令是
docker run -p 6627:6627 --hostname <ec2_public_ip> -d --restart always --name nimbus storm storm nimbus -c storm.zookeeper.servers='[<zookeeper_hosts>]'
我用来启动Supervisor容器的命令是
docker run -p 6700:6700 --hostname <ec2_public_ip> -d --restart always --name supervisor storm storm supervisor -c storm.zookeeper.servers='[<zookeeper_hosts>]' -c nimbus.seeds='[<ec2_public_ip>]'
所有端口都在安全组中打开,并且zookeeper实例已启动并正在运行。
当我尝试使用本地盒子部署拓扑时
storm jar topology.jar topologyClass
Storm最初使用正确的公共IP地址和日志
2037 [main] INFO o.a.s.u.NimbusClient - Found leader nimbus : ip-<private_ip_address>.us-west-1.compute.internal:6627
但是,您可以看到在上面的日志中,私有IP地址是返回,风暴无法连接。
Caused by: java.lang.RuntimeException: org.apache.storm.thrift.transport.TTransportException: java.net.UnknownHostException: ip-<private_ip_address>.us-west-1.compute.internal
有人可以指出将公共IP地址从docker容器内部而不是私有IP地址发送回Storm的方法是什么?
Nimbus在https://github.com/apache/storm/blob/e909b3d604367e7c47c3bbf3ec8e7f6b672ff778/storm-client/src/jvm/org/apache/storm/nimbus/NimbusInfo.java#L56找出它的主机名/端口
如你所见,你应该在storm.yaml中设置storm.local.hostname
。