cassandra/datastax：以编程方式设置 datastax 包答案

【问题标题】：cassandra/datastax: programatically setting datastax packagecassandra/datastax：以编程方式设置 datastax 包
【发布时间】：2018-12-20 08:12:00
【问题描述】：

以下 spark-submit 脚本有效：

nohup ./bin/spark-submit   --jars ./ikoda/extrajars/ikoda_assembled_ml_nlp.jar,./ikoda/extrajars/stanford-corenlp-3.8.0.jar,./ikoda/extrajars/stanford-parser-3.8.0.jar \
--packages datastax:spark-cassandra-connector:2.0.1-s_2.11 \
--class ikoda.mlserver.Application \
--conf spark.cassandra.connection.host=192.168.0.33 \
--master local[*]  ./ikoda/ikodaanalysis-mlserver-0.1.0.jar   1000  > ./logs/nohup.out &

以编程方式，我可以通过配置 SparkContext 来做同样的事情：

        val conf = new SparkConf().setMaster("local[4]").setAppName("MLPCURLModelGenerationDataStream")
    conf.set("spark.streaming.stopGracefullyOnShutdown", "true")
    conf.set("spark.cassandra.connection.host", sparkcassandraconnectionhost)
    conf.set("spark.driver.maxResultSize", sparkdrivermaxResultSize)
    conf.set("spark.network.timeout", sparknetworktimeout)

问题

我可以以编程方式添加 --packages datastax:spark-cassandra-connector:2.0.1-s_2.11 吗？如果是，怎么做？

【问题讨论】：

标签： scala apache-spark cassandra datastax

【解决方案1】：

对应的选项是spark.jars.packages

conf.set(
  "spark.jars.packages",
  "datastax:spark-cassandra-connector:2.0.1-s_2.11")

【讨论】：