EMR Notebook Scala 内核导入图框库

Question

在 bash shell 中运行 spark-shell --packages "graphframes:graphframes:0.7.0-spark2.4-s_2.11" 可以正常工作，我可以成功导入 graphframes 0.7，但是当我尝试在这样的 scala jupyter 笔记本中使用它时：

import scala.sys.process._
"spark-shell --packages \"graphframes:graphframes:0.7.0-spark2.4-s_2.11\""!
import org.graphframes._

给出错误信息：

<console>:53: error: object graphframes is not a member of package org
   import org.graphframes._

据我所知，这意味着它运行了 bash 命令，但仍然找不到检索到的包。

我在运行 spark scala 内核的 EMR Notebook 上执行此操作。

是否必须在 jupyter 环境中设置某种 spark 库路径？

Answer 1

这根本不应该工作。您的代码所做的只是尝试启动一个新的独立 Spark shell。此外，第一次初始化 SparkContext 时必须加载 Spark 包。

您应该添加（假设这些是正确的版本）

spark.jars.packages graphframes:graphframes:0.7.0-spark2.4-s_2.11

到您的 Spark 配置文件，或在初始化 SparkSession 之前在您的 SparkConf / SparkSessionBuilder.config 中使用等效项。