hadoop 作业与 pyspark 和 oozie 陷入僵局答案

【问题标题】：hadoop jobs in deadlock with pyspark and ooziehadoop 作业与 pyspark 和 oozie 陷入僵局
【发布时间】：2017-10-06 13:29:32
【问题描述】：

我正在尝试使用 oozie 在 yarn 上运行 pyspark，提交工作流后，hadoop 作业队列中有 2 个作业，一个是 oozie 作业，应用程序类型为“map reduce”，另一个作业触发通过前一个，应用程序类型为“Spark”，当第一个作业正在运行时，第二个作业保持在“已接受”状态。问题来了，当第一个作业正在等待第二个作业完成继续时，第二个是等待第一个完成运行，我可能会陷入死锁，我该如何摆脱这个麻烦，无论如何应用程序类型“mapreduce”的hadoop作业与不同应用程序的其他作业并行运行输入？

感谢任何建议，谢谢！

【问题讨论】：

标签： hadoop pyspark oozie

【解决方案1】：

请在 Yarn 调度程序配置中检查属性值。我想您需要将其增加到 .9 左右。

属性：yarn.scheduler.capacity.maximum-am-resource-percent

您需要在更新属性后启动 Yarn、MapReduce 和 Oozie。

More info: Setting Application Limits.

【讨论】：