如何在 Java 的数据流作业中指定将在每个数据流 VM 工作者上执行的启动脚本

Question

我需要修改 ~/.ssh/authorized_keys 以添加用于登录的自定义公钥。我发现这篇文章是针对 python 工作的。 https://beam.apache.org/documentation/sdks/python-pipeline-dependencies/

我们如何为 Java 数据流作业做同样的事情。

Answer 1

您可以创建自定义容器，可能带有自定义入口点。

见： https://cloud.google.com/dataflow/docs/guides/using-custom-containers

还有 https://github.com/apache/beam/blob/master/sdks/java/core/src/main/java/org/apache/beam/sdk/harness/JvmInitializer.java ，这可能对这里有所帮助，但它是为不同的目的而编写的。