试图加载一个 jar 和一个外部类

Question

在我的 zeppelin-env.sh 中，我将 JDBC MySQL 连接器加载为 jar，如下所示

export ZEPPELIN_JAVA_OPTS+=" -Dspark.jars=/usr/local/opt/mysql-connector-java/libexec/mysql-connector-java-5.1.32-bin.jar"

此外，我想加载应该以 2（或更多）方式工作的 Databricks CSV 包：

1. %dep z.load("com.databricks:spark-csv_2.10:1.2.0")
2. export SPARK_SUBMIT_OPTIONS="--packages com.databricks:spark-csv_2.10:1.2.0"

第一个在 no SPARK_HOME 设置时有效，SPARK_SUBMIT_OPTIONS 但仅在设置了外部 Spark home 时才考虑。

如何加载databricks CSV 包没有 设置SPARK_HOME，或者，如何加载使用嵌入式Spark 库时包含的所有其他jar，而不设置SPARK_HOME？

我实际上更喜欢使用单独的 Spark 安装，我可以独立于 Zeppelin 进行更新，但是我担心我在坚持使用嵌入式 Spark 时没有不兼容。

Answer 1

所以我确实使用外部 Spark 安装设置了 SPARK_HOME，这似乎更快，并且使用 brew install apache-spark 安装非常容易。

阅读documentation 我猜会有所帮助

只需在指定要加载的 JAR 的 SPARK_SUBMIT_OPTIONS 中添加一个--jars 选项。或者，创建一个 SPARK_HOME/conf/spark-defaults.conf 文件，在其中指定要加载的文件、包和 jar。