AirflowException：SSH 操作员错误：没有可用的身份验证方法答案

【问题标题】：AirflowException: SSH operator error: No authentication methods availableAirflowException：SSH 操作员错误：没有可用的身份验证方法
【发布时间】：2019-08-16 07:37:54
【问题描述】：

我使用 Apache Airflow 已经有一段时间了，由于一个用例，我需要将 SparkSubmitOperator 重写为 SSHOperator。我的气流安装在 AWS EMR 上，并且 spark-submit 需要在同一个 EMR 上进行。但是操作员失败了 - AirflowException: SSH operator error: No authentication methods available

我正在使用默认的 ssh_conn_id=ssh_default 并尝试将其作为 ssh_hook 传递，但似乎没有任何效果

dag 文件


hook = SSHHook(ssh_conn_id='ssh_default')

spark_submit = """
spark-submit ....
"""

process = SSHOperator(
        task_id='execute_pySpark',
        ssh_hook=hook,
        command=spark_submit,
        do_xcom_push=True
    )

气流连接


Conn Id:   ssh_default
Conn Type: SSH
Host:      localhost

感谢任何见解。提前谢谢！

【问题讨论】：

标签： airflow

【解决方案1】：

根据https://airflow.readthedocs.io/en/1.10.2/howto/manage-connections.html?highlight=SSHOperator#ssh 指定的详细信息配置您的 SSH 连接

添加username 和password（如果有的话）。 Host 字段应包含远程 VM 的 IP 地址，除非您的 Spark Master 在本地主机上。

【讨论】：