Dataproc PySpark 作业“未获得任务”或“任务租约已过期”

Question

在运行 PySpark 作业足够长的时间后，我遇到“Task Lease Expired”的错误；然后我尝试重新提交作业，它给出“未获取任务”并且日志字段为空。

是什么原因或我应该如何诊断这个问题？

1 个主节点：n1-standard-4（4 个 vCPU，15 GB 内存）

4 个工作节点：n1-standard-1（1 个 vCPU，3.75 GB 内存）

---

编辑：

集群在 GCP 控制台上看起来很健康，但它不会再“获取”任何作业。我必须重新创建新集群才能运行相同的作业，目前看来还可以。

Answer 1

这太旧了。我的答案是：

在 YARN UI 中检查您的集群运行状况，而不是使用 GCP 控制台。应该出现一些错误，例如工人不可用。

如果 YARN UI 没问题，并且您通过 gcloud 提交了作业，则可能会丢失 GCP 中的某些内部进程，因此您可以先尝试重新启动。如果它没有帮助重新创建它是您提到的选项。