【问题标题】:Install other scala libraries on EMR notebook在 EMR 笔记本上安装其他 scala 库
【发布时间】:2019-10-24 15:45:42
【问题描述】:

我有一个 EMR scala 笔记本,我想做的是安装一个用于绘制 spark 数据的库。该库称为Vegas。 我该怎么做? 谢谢

【问题讨论】:

  • EMR 笔记本使用 Livy 作为 spark 的后端。您可以将jar的maven坐标指定为livy.spark.jars.packages并尝试一下。
  • 我应该在启动 EMR 笔记本时指定一些输入参数吗?

标签: scala apache-spark jupyter-notebook amazon-emr


【解决方案1】:

如果您在 EMR 中使用 Apache Toree(它提供 Spark、PySpark、SparkR 和 SparkSQL 内核),您可以执行以下操作:

%AddDeps "org.vegas-viz" %% "vegas" % {vegas-version} --transitive

它会开始下载 jars,你就可以在你的笔记本中使用 vegas

【讨论】:

  • 我使用的是 EMR 笔记本而不是 Apache Toree。我不相信它会起作用
【解决方案2】:

你可以在 notebook 中配置 scala 依赖项,

%%configure -f
{
"conf": {"spark.jars.packages": "//maven coordinates of Vegas package"}
}

【讨论】:

    猜你喜欢
    • 2020-06-28
    • 2019-07-08
    • 1970-01-01
    • 2020-04-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-11-28
    • 2021-11-26
    相关资源
    最近更新 更多