将 Oozie 中 Spark 操作节点的控制台输出捕获为 Oozie 工作流中的变量

Question

有没有办法在 Oozie 中捕获火花作业的控制台输出？我想在 spark 作业之后的下一个操作节点中使用特定的打印值。

我在想我可以使用${wf:actionData("action-id")["Variable"]}，但似乎 oozie 没有能力从 spark 动作节点捕获输出，这与 Shell 动作不同，您可以只使用 echo "var=12345" 然后调用oozie 中的 wf:actionData 将用作整个工作流程中的 Oozie 变量。

我想实现这一点，因为我想打印可能处理的记录数并将其存储为 oozie 变量，并将其用于工作流中的下一个操作节点，而不执行任何需要您将数据存储在外部的功能工作流程，例如将它们保存在表中或通过在 Spark Scala 程序中实现它们将它们存储为系统变量。

任何帮助都将不胜感激，因为我仍然是新手 spark 程序员。非常感谢。

Answer 1

由于 Spark 操作不支持捕获输出，因此您必须将数据写入文件到 HDFS。 This 帖子解释了如何从 Spark 中做到这一点。