如何通过 sparkSession 向工作人员提交多个 jar？答案

【问题标题】：How to submit multiple jars to workers through sparkSession?如何通过 sparkSession 向工作人员提交多个 jar？
【发布时间】：2018-02-15 00:52:20
【问题描述】：

我使用的是火花 2.2.0。下面是我在 spark 上用作作业的 java 代码 sn-p：

SparkSession spark = SparkSession.builder()
            .appName("MySQL Connection")
            .master("spark://ip:7077")
            .config("spark.jars", "/path/mysql.jar")
            .getOrCreate();

Dataset dataset = spark.read().format("jdbc")
            .option("url", "jdbc:mysql://ip:3306/mysql")
            .option("user", "superadmin")
            .option("password", "****")
            .option("dbtable", "account")
            .load();

上面的代码完美运行，但问题是如果我需要提交 2 个 jars，那么我不知道如何提交它？ config() 方法只接受 key('spark.jars') 中的一个参数和 value(jar 的路径) 中的一个参数。如果使用 SparkConfig().setJars()，我知道如何发送多个 jar，但我不使用，因为我需要使用 SparkSession。

有人可以帮忙吗？

【问题讨论】：

标签： java hadoop apache-spark

【解决方案1】：

如spark submit add multiple jars in classpath 和Passing additional jars to Spark via spark-submit 中所述，您应该使用逗号分隔列表：

SparkSession spark = SparkSession.builder()
        .appName("MySQL Connection")
        .master("spark://ip:7077")
        .config("spark.jars", "/path/mysql.jar,/path/to/another.jar")
        .getOrCreate();

如果使用 SparkConfig().setJars()，我知道如何发送多个 jar，但我不使用，因为我需要使用 SparkSession。

SparkConfis still applicable for SparkSession:

SparkConf conf;
... 
SparkSession.builder().config(conf).getOrCreate();

【讨论】：