使用 spark 从 S3 读取禁止错误

Question

我已经设置了包含 S3 访问密钥和秘密密钥以及设置 impl 的 spark 配置。

我可以在执行 sqlContext.getAllConfs 时看到值

但是在将文本文件读入 df 时出现禁止错误

val df = sqlContext.read
      .format("com.databricks.spark.csv")
      .option("header", "true") // Use first line of all files as header
      .option("delimiter", delimiter)
      // Infer all columns as String
      .option("inferSchema", "false")
      option("mode", "FAILFAST")
      .option("parserLIb", "univelocity")
      .option("charset", "utf-8")
      .load(s"$path/$fileName$fileExtension")
      .replaceNullValues()
      .removeSpecialChars()

该文件存在于 S3 上，路径为 s3a:///folder....

Answer 1

可能是您的帐户没有读取文件的权限 - 但也可能意味着该文件是使用您无权使用的 KMS 密钥加密的。