在 AWS EMR 中获取 sparkdid.cassandra.connection.config.cloud.path 的正确路径答案

【问题标题】：Get correct path for sparkdid.cassandra.connection.config.cloud.path in AWS EMR在 AWS EMR 中获取 sparkdid.cassandra.connection.config.cloud.path 的正确路径
【发布时间】：2021-10-25 22:19:40
【问题描述】：

我检查了整个网络。但找不到解决方案。

我正在尝试使用 AWS EMR 中的捆绑包连接 astra cassandra，它能够下载捆绑包文件但无法加载它。

spark.conf.set("sparkdid.cassandra.connection.config.cloud.path", "secure-connect-app.zip")

这就是我给出路径的方式我知道这是错误的路径，因为它没有加载正确的配置返回连接被 localhost 拒绝。

我不知道 EMR 中的正确路径是什么。

【问题讨论】：

标签： apache-spark cassandra amazon-emr spark-cassandra-connector datastax-astra

【解决方案1】：

如果您查看documentation，那么您会看到该文件可以指定为 S3 上文件的 URL，或者您可以在使用 spark-submit 或 spark-shell 提交时使用 --files 选项，那么它将是就像你正在做的那样，可以作为一个文件名使用

【讨论】：