如何在 Spark 中增加参数列表的大小？答案

【问题标题】：How do I Increase size of Argument list in Spark?如何在 Spark 中增加参数列表的大小？
【发布时间】：2021-07-13 15:32:12
【问题描述】：

使用以下命令时，会出现与参数列表大小相关的错误。

Spark-submit --master yarn --deploy-mode cluster --py-files /home/user/sandbox/ldsm/ldsm.py --input s3://bucket1/file1

错误信息：

Spark-submit failed while reading data from s3 on EMR.

Spark-submit --master yarn --deploy-mode cluster --py-files /home/user/sandbox/ldsm/ldsm.py --input s3://bucket1/file1 s3://bucket1/file2...s3://bucket1/file900 parameter ( --input) has 900 arguments

The length of argument list is 170 kb

It failed with /bin/bash : Arguments too long

我想知道如何增加参数列表的大小。

【问题讨论】：

路径参数使用双引号防止 bash 扩展 "s3://bucket1/file1"。

标签： apache-spark amazon-s3 amazon-emr spark-submit

【解决方案1】：

路径参数使用双引号来防止 bash 扩展 "s3://bucket1/file1"

【讨论】：