在远程 Storm 集群中配置 streamparse答案

【问题标题】：Configuring streamparse in remote Storm cluster在远程 Storm 集群中配置 streamparse
【发布时间】：2019-04-12 01:06:07
【问题描述】：

在 streamparse 中配置远程集群时有点困惑。Streamparse 在 localhost 中工作正常。但不知道如何设置集群，我的 config.json 是：

{
    "library": "",
    "topology_specs": "topologies/",
    "virtualenv_specs": "virtualenvs/",
    "envs": {
        "prod": {
            "user": "nandaraj",
            "nimbus": "localhost",
            "workers": ["localhost"],
            "log": {
                "path": "",
                "max_bytes": 1000000,
                "backup_count": 10,
                "level": "info"
            },
            "virtualenv_root": "/data/virtualenvs"
        }
    }
}

首先我在 nimbus 和 worker 中使用 localhost 进行了尝试，并得到了错误：

[localhost] 执行任务'_create_or_update_virtualenv'

致命错误：需要提示输入连接或 sudo 密码（主机： localhost)，但在并行模式下输入会不明确

中止。需要提示输入连接或 sudo 密码（主机： localhost)，但在并行模式下输入会不明确

致命错误：一个或多个主机在执行任务时失败 '_create_or_update_virtualenv'

中止。一台或多台主机在执行任务时失败 '_create_or_update_virtualenv'

之后，我尝试在同一 LAN 中使用计算机的 ip（代替工作人员的 localhost）并得到相同的错误。

[192.168.61.41] 执行任务'_create_or_update_virtualenv'

致命错误：需要提示输入连接或 sudo 密码（主机： 192.168.61.41)，但在并行模式下输入会不明确

中止。需要提示输入连接或 sudo 密码（主机： 192.168.61.41)，但在并行模式下输入会不明确

致命错误：一个或多个主机在执行任务时失败 '_create_or_update_virtualenv'

中止。一台或多台主机在执行任务时失败 '_create_or_update_virtualenv'

我已经在服务器和本地主机上安装了相同版本的streamparse和相同版本的lein，在服务器和本地主机上都安装了jdk7。

【问题讨论】：

标签： apache-storm

【解决方案1】：

您可以在 fabfile.py 中添加以下内容（您必须设置环境）

from fabric.api import env
env.use_ssh_config = True
env.password = 'server_password' 
from streamparse.ext.fabric import *

【讨论】：

【解决方案2】：

如果您尝试将拓扑提交到同一主机中的集群，请在 config.json 中添加以下行：

{
    "use_ssh_for_nimbus": true,
    "virtualenv_root": "/data/virtualenvs/",
    "use_virtualenv": false
}

另见streamparse/quickstart.rst

【讨论】：

【解决方案3】：

通过这个问题，您应该编辑您的 ~/.ssh/config 文件，以便从您将代码提交到风暴集群服务器的客户端进行公共/私有 ssl 密钥访问。您可以通过从您的客户端到storm集群中的节点的无密码ssh访问来检查您的~/.ssh/config文件是否有效。

【讨论】：