在 hadoop 集群上的节点之间同步配置文件

Question

我有一个由 4 个节点组成的 hadoop 集群，我在其上运行 pyspark 脚本。我有一个 config.ini 文件，其中包含脚本所需的证书位置、密码、服务器名称等详细信息。每次更新此文件时，我都需要在所有 4 个节点之间同步更改。有没有办法避免这种情况？

我需要同步或更新对脚本的更改。只在一个节点上制作它们并从那里运行它就足够了。配置文件也可以吗？

Answer 1

最安全的答案可能是学how to use a keystore with spark.

安全性稍差一些，但仍然不错。您是否考虑过可以将文件放在 HDFS 中然后引用它？ （安全性较低但更易于使用）

易于使用的不安全方法：

您也可以pass it as a file to spark-submit为您传输文件。

或者你可以add the values to your spark submit。