如何在 PySpark 应用程序中设置纱线应用程序 ID

【问题标题】：How to set yarn application id in a PySpark app如何在 PySpark 应用程序中设置纱线应用程序 ID
【发布时间】：2021-11-20 01:42:11
【问题描述】：

我正在尝试为通过 YARN 在 EMR 上提交的 pyspark 应用程序创建自定义应用程序 ID 的方法。通常 YARN 应用程序 id 采用这种格式application_1632776696096_0006

有没有办法以某种方式修改它们以添加前缀或完全自定义？

感谢您的回复！提前致谢

【问题讨论】：

【解决方案1】：

ApplicationId是yarn内部生成的唯一标识，除了修改源码没有办法自定义。可以通过指定appname来达到区分app的目的。例如：

spark-submit --name

【讨论】：