使用 Livy 连接到 Kerberized Hadoop 集群时 Python Requests Post 请求失败

Question

我正在尝试通过 Livy 连接到一个 kerberized hadoop 集群以执行 Spark 代码。我发出的请求如下。

kerberos_auth = HTTPKerberosAuth(mutual_authentication=REQUIRED, force_preemptive=True)
r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers, auth=kerberos_auth)

此调用失败并出现以下错误

GSSException：未提供有效凭据（机制级别：失败 查找任何 Kerberos 凭据）

如有任何帮助，我们将不胜感激。

Answer 1

在 Hadoop 中以安全模式运行 Hadoop 服务守护程序时，Kerberos 票证使用密钥表解密，服务使用密钥表来确定进入集群的用户的凭据。如果没有其中包含正确服务主体的密钥表，您将收到此错误消息。请参阅Hadoop in Secure Mode 了解有关设置 keytab 的更多详细信息。