从 dataproc 模板中的 yaml 文件运行 shell 脚本

Question

是否可以使用 dataproc 工作流模板通过 yaml 文件将 shell 脚本作为作业运行。如果可以，我们该怎么做。

我研究过工作流模板，但它们是 hadoop 和 spark 作业，但我不确定如何运行 shell 脚本。

Answer 1

没有直接的方法，但有一种解决方法：使用-e=sh myscript.sh 添加一个猪作业步骤。您必须通过 init 操作将文件暂存到集群上。

或者，您可以创建一个 Python 脚本，该脚本会输出到 bash 脚本。这样做的好处是pyspark 工作将通过--files 参数为您下载脚本。