使用 DB2 连接自动执行 spark 提交作业

Question

我有一个 spark 作业，我使用 spark 提交命令行工具调用我的 shell 脚本。 我需要将 DB2 连接用户名和密码的凭据传递给 jar 文件。 要求是用户名和密码不可读。

有人可以帮忙吗？

Answer 1

我会尝试使用 hadoop 凭据 API

Hadoop 从 hadoop 2.6 版本开始引入了密钥库。您可以将密钥库路径和别名传递给您的 spark 程序，并在运行时从密钥库中获取密码

https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/CommandsManual.html#credential

这里是示例 Java 程序 https://apache.googlesource.com/hadoop-common/+/refs/heads/trunk/hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/security/alias/JavaKeyStoreProvider.java