【发布时间】：2019-05-12 04:05:29
【问题描述】：
我目前的设置：
- Spark 版本 2.3.1（在 Windows 上运行的集群）使用 Spark 密钥（基本）。
- Hdfs（在 Linux 上运行的集群）Kerberized。
不理想！但是我不能为两个集群使用同一组机器是有充分理由的。
我能够从独立的 Spark 应用程序读取/写入 Hdfs，但是当我尝试在 Spark 集群上运行类似代码时，我收到了身份验证错误。
java.io.IOException：本地异常失败：java.io.IOException： org.apache.hadoop.security.AccessControlException：客户端不能 通过：[TOKEN，KERBEROS] 进行身份验证；主机详情....
【问题讨论】：
-
传递 keytab 和 pricipal。 --conf keytab=path_to_keytab --conf principal=xxxxxxx
-
感谢 Kishore，不幸的是已经完成了，但仍然没有运气！在独立模式下运行良好，但在集群模式下运行良好。
标签： apache-spark authentication hdfs kerberos