在远程Storm集群中配置streamparse

Question

在streamparse.Streamparse中配置远程集群有点困惑在localhost中工作正常。但是不能如何设置集群，我的config.json是：

{
    "library": "",
    "topology_specs": "topologies/",
    "virtualenv_specs": "virtualenvs/",
    "envs": {
        "prod": {
            "user": "nandaraj",
            "nimbus": "localhost",
            "workers": ["localhost"],
            "log": {
                "path": "",
                "max_bytes": 1000000,
                "backup_count": 10,
                "level": "info"
            },
            "virtualenv_root": "/data/virtualenvs"
        }
    }
}

首先，我尝试使用nimbus和worker中的localhost并获取错误：

[localhost]执行任务'_create_or_update_virtualenv'

致命错误：需要提示连接或sudo密码（host：localhost），但在并行模式下输入是不明确的

中止。需要提示连接或sudo密码（host：localhost），但在并行模式下输入将是不明确的

致命错误：执行任务'_create_or_update_virtualenv'时一个或多个主机出现故障

中止。执行任务'_create_or_update_virtualenv'时，一个或多个主机出现故障

之后，我尝试在同一局域网中使用计算机的ip（代替localhost for worker）并获得相同的错误。

[192.168.61.41]执行任务'_create_or_update_virtualenv'

致命错误：需要提示连接或sudo密码（主机：192.168.61.41），但在并行模式下输入是不明确的

中止。需要提示连接或sudo密码（主机：192.168.61.41），但在并行模式下输入是不明确的

致命错误：执行任务'_create_or_update_virtualenv'时一个或多个主机出现故障

中止。执行任务'_create_or_update_virtualenv'时，一个或多个主机出现故障

我已经在服务器和localhost中安装了streamparse，在服务器和localhost上使用相同版本和相同版本的lein以及jdk7。

Answer 1

您可以在fabfile.py中添加以下内容（您必须设置env）

from fabric.api import env
env.use_ssh_config = True
env.password = 'server_password' 
from streamparse.ext.fabric import *

Answer 2

如果您尝试将拓扑提交到同一主机中的群集，请在config.json中添加以下行：

{
    "use_ssh_for_nimbus": true,
    "virtualenv_root": "/data/virtualenvs/",
    "use_virtualenv": false
}

另见streamparse/quickstart.rst

Answer 3

通过这个问题，您应该编辑ur ~/.ssh/config文件，以便从您将代码提交到Storm集群服务器的客户端进行公共/私有ssl密钥访问。你可以检查你的~/.ssh/config文件是否通过无密码ssh访问从你的客户端到风暴集群中的节点逐个访问。