与 Kafka 通信的 Spark 流作业上的 Kerberos 票证续订

Question

我有一个运行时间很长的 Spark 流式作业，它在 Kerberized Hadoop 集群上运行。它每隔几天就会失败，并出现以下错误：

诊断：在缓存中找不到令牌（XXXXXXX 的令牌：HDFS_DELEGATION_TOKEN owner=XXXXXXXXX@XX.COM，renewer=yarn，realUser=，issueDate=XXXXXXXXXXXXXXX，maxDate=XXXXXXXXXX，sequenceNumber=XXXXXXXX，masterKeyId=XXX）

我尝试在 spark-submit 中添加 --keytab 和 --principal 选项。但是我们已经有以下选项可以做同样的事情：

对于第二个选项，我们已经通过以下方式传入了 keytab 和 principal： 'spark.driver.extraJavaOptions=-Djava.security.auth.login.config=kafka_client_jaas.conf -Djava.security.krb5.conf=krb5.conf -XX:+UseCompressedOops -XX:+UseG1GC -XX:+UnlockDiagnosticVMOptions -XX :+G1SummarizeConcMark -XX:InitiatingHeapOccupancyPercent=35 -XX:ConcGCThreads=12' \

spark.executor.extraJavaOptions 也是如此。如果我们添加选项 --principal 和 --keytab 它会导致尝试将文件（keytab）多次添加到分布式缓存

Answer 1

有两种方法可以做到。

1. 拥有一个定期生成密钥表/票证的 shell 脚本。

2. [推荐] 将您的 keytab 传递给 Spark，仅对 spark 用户进行严格访问，它可以自动为您重新生成票证。访问thisCloudera 社区页面了解更多详情。只需简单的一堆步骤，你就可以开始了！

希望有帮助！