Yarn 显示作业已成功，但 EMR 显示该步骤仍在运行

Question

Yarn 显示作业已成功（在 Yarn UI 中），但 EMR 显示该步骤（在 EMR 控制台 UI 中）仍在运行，并且永远显示为 tat。任何想法 ？ 我正在将 s3 作为 json 部分文件写入，我在驱动程序日志中看到了这一点：

Caused by: java.io.IOException: File already exists:s3n:

但驱动程序仍在运行，但纱线显示成功。

Answer 1

我遇到了同样的问题，s3 告诉我文件已经存在并且工作正在按预期完成。首先，不要使用s3n://，而是使用s3://，按照this issue 中的建议。

为了摆脱IOException，我启用了EMRFS consistent view，推荐用于“使用Amazon S3 作为数据存储运行快速、连续步骤的集群”，这就是我的情况。 YMMV。