EMR 上的 Spark - 下载不同的 Jar 文件答案

【问题标题】：Spark on EMR - Downloading Different Jar FilesEMR 上的 Spark - 下载不同的 Jar 文件
【发布时间】：2019-08-26 19:28:15
【问题描述】：

我正在使用引导程序将 mysql jar 文件下载到 spark/jars 文件夹。我使用以下内容：

sudo aws s3 cp s3://buck/emrtest/mysql-connector-java-5.1.39-bin.jar /usr/lib/spark/jars

一切都正确下载，但我最终得到一个配置错误并且集群终止。我收到此错误：

On 5 slave instances (including i-0505b9beda64e9,i-0f85f4664e1359 and i-00d346a73f717b), application provisioning failed

它不会在我的主节点上失败，但在我的从节点上会失败。我检查了我的日志，它没有给我任何信息。为什么这会失败，我将如何以引导方式将这个 jar 文件下载到每个节点？

谢谢！

【问题讨论】：

【解决方案1】：

我想出了答案。首先，不存在为此的日志记录。主节点在失败时启动。

我正在检索私有 s3 存储桶中的文件。注意：AWS 配置不会在您的 EMR 集群中继承。

【讨论】：