SPARK_SUBMIT_OPTIONS 中的 CPS 是什么？

【问题标题】：What is CPS in SPARK_SUBMIT_OPTIONS?SPARK_SUBMIT_OPTIONS 中的 CPS 是什么？
【发布时间】：2018-10-19 22:49:17
【问题描述】：

在 AWS EMR /etc/zeppelin/conf/zeppelin-env.sh 中，它有这个

export SPARK_SUBMIT_OPTIONS="$SPARK_SUBMIT_OPTIONS \
--conf 'spark.executorEnv.PYTHONPATH=/usr/lib/spark/python/lib/py4j-src.zip:/usr/lib/spark/python/:<CPS>{{PWD}}/pyspark.zip<CPS>{{PWD}}/py4j-src.zip' \
--conf spark.yarn.isPython=true"

spark.executorEnv.PYTHONPATH 中的 <CPS> 是什么？

【问题讨论】：

标签： apache-spark emr apache-zeppelin

【解决方案1】：

CPS = “类路径分隔符”（例如，Linux 上的“:”和 Windows 上的“;”）

参考https://issues.apache.org/jira/browse/YARN-6554。

您看到的这个设置混合了和 ':' 有点奇怪。实际上，它可能应该使用代替所有的 ':' 以便独立于平台。但是，由于 EMR 仅支持在 AmazonLinux 上运行，因此不需要独立于平台。

【讨论】：