如何在 AWS EMR 笔记本中加载库/Maven 依赖项答案

【问题标题】：How to load library/ maven dependency in AWS EMR notebook如何在 AWS EMR 笔记本中加载库/Maven 依赖项
【发布时间】：2019-11-10 19:12:23
【问题描述】：

我正在使用 AWS 笔记本。我可以在没有第三方库依赖的情况下运行正常的基于 scala 的 spark 作业。但我想加载一些常见的库，如 typesafe-config、mysql-connector 等。

如何在 AWS 上的 scala spark notebook 中添加这些库依赖项？

我尝试在笔记本的第一个单元格中添加这些 sn-ps，但都不起作用

 %%configure -f
    {
        "conf": {
            "spark.jars": "s3://bucket-xxx/jars/lib/config-1.3.1.jar"
        }
    }

还有

%%configure -f
{
"conf": {"spark.jars.packages": "com.typesafe:config:1.3.1,mysql:mysql-connector-java:8.0.17"},

"jars": ["s3://bucket-xxx/jars/lib/"]

}

都报错了

console>:29: 错误：对象 ConfigFactor 不是包的成员 com.typesafe.config 导入 com.typesafe.config.ConfigFactor

当我尝试导入类型安全配置时

import com.typesafe.config.ConfigFactor

我还尝试在笔记本元数据中添加 maven 坐标为

"customDeps": [
        "com.typesafe:config:1.3.1"
    ]

得到了

错误：对象类型安全不是包 com 的成员导入 com.typesafe.config.ConfigFactor

【问题讨论】：

标签： amazon-web-services amazon-emr spark-notebook

【解决方案1】：

导入行有错别字，应该是

import com.typesafe.config.ConfigFactory

此外，Jupyter notebook 中需要此单元格

%%configure -f 
{
  "jars": ["s3://test/libs/config-1.3.1.jar"],
  "conf": {"spark.jars.packages": "com.typesafe:config:1.3.1"}
}

希望对你有帮助。

【讨论】：