spark.read.parquet 在 Colab 中不起作用答案

【问题标题】：spark.read.parquet not working in Colabspark.read.parquet 在 Colab 中不起作用
【发布时间】：2018-07-23 10:22:27
【问题描述】：

Py4JJavaError：调用 o188.parquet 时出错。 : java.lang.RuntimeException: java.lang.ClassNotFoundException: 类 org.apache.hadoop.fs.s3a.S3AFileSystem 找不到

我尝试使用 spark-submit 将丢失的 hadoop-aws jar 文件添加到类路径，但无法添加。这是我尝试过的：

!spark-submit --jars /content/hadoop-aws-2.7.1.jar

线程“main”java.lang.IllegalArgumentException 中的异常：缺少应用程序资源。

【问题讨论】：

【解决方案1】：

os.environ['PYSPARK_SUBMIT_ARGS'] = "--packages=org.apache.hadoop:hadoop-aws:2.7.3 pyspark-shell"

【讨论】：