dataproc 纱线属性中的特殊字符答案

【问题标题】：Special character in dataproc yarn propertiesdataproc 纱线属性中的特殊字符
【发布时间】：2018-10-28 23:30:18
【问题描述】：

我找到了这个命令示例来创建 dataproc 集群并设置一些纱线属性。

gcloud dataproc clusters create cluster_name \
  --bucket="profiling-job-default" \
  --zone=europe-west1-c \
  --master-boot-disk-size=500GB \
  --worker-boot-disk-size=500GB \
  --master-machine-type=n1-standard-16 \
  --num-workers=10 \
  --worker-machine-type=n1-standard-16 \
  --initialization-actions gs://custom_init_gcp.sh \
  --metadata MINICONDA_VARIANT=2 \
  --properties=^--^yarn:yarn.scheduler.minimum-allocation-vcores=4--capacity-scheduler:yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

我注意到属性键值之前有一个特定的字符串^--^：yarn:yarn.scheduler.minimum-allocation-vcores=4。

^--^ 是什么意思？这是-- 的一种逃避？这是在哪里记录的？

【问题讨论】：

标签： bash apache-spark google-cloud-platform gcloud google-cloud-dataproc

【解决方案1】：

这是列表和字典类型值escaping 的gcloud 语法。

这意味着在^ 之间指定的字符被视为列表和字典标志的值和键值分隔符。

【讨论】：