使用 Livy 作为 OS 用户运行 spark 程序

Question

我有一个 kerberized 集群，并希望使用 Livy 以“OS 用户”的身份运行 Spark 程序。使用proxyUser选项只是将YARN用户设置为proxy User，OS用户还是Livy。

如果这是不可能的，那么有人可以将我指向“spark-submit”发生的 Livy 代码以创建新的 YARN 应用程序。我可以检查一下如何修改。

Answer 1

所以 Livy 默认运行在客户端模式下，在这种模式下驱动程序作为 Livy 运行。我可以通过向 Livy 授予 sudo 权限，然后以模拟用户身份运行，使其以模拟用户身份运行。

更简单的方法是让 YARN 在集群模式下进行。这样，Livy 将作为模拟用户运行驱动程序。