Scala 代码连接到 Spark 和 Cassandra

【问题标题】：Scala Code to connect to Spark and CassandraScala 代码连接到 Spark 和 Cassandra
【发布时间】：2017-11-27 10:47:05
【问题描述】：

我的笔记本电脑上运行着 scala ( IntelliJ)。我还在机器 A、B、C 上运行 Spark 和 Cassandra（使用 DataStax 的 3 节点集群，在分析模式下运行）。我尝试在 Cluster 上运行 Scala 程序，它们运行良好。我需要在笔记本电脑上创建代码并使用 IntelliJ 运行。如何连接和运行。我知道我在代码中犯了错误。我用了一般的词。我需要帮助编写特定代码吗？示例：本地主机不正确。

 import org.apache.spark.{SparkContext, SparkConf}

  object HelloWorld {
  def main(args: Array[String]) {

    val conf = new SparkConf(true).set("spark:master", "localhost")
    val sc = new SparkContext(conf)
    val data = sc.cassandraTable("my_keyspace", "my_table") 

  }

}

【问题讨论】：

标签： scala apache-spark intellij-idea cassandra

【解决方案1】：

val conf = new SparkConf().setAppName("APP_NAME")
    .setMaster("local")
    .set("spark.cassandra.connection.host", "localhost")
    .set("spark.cassandra.auth.username", "")
    .set("spark.cassandra.auth.password", "")

使用上述代码连接到本地 spark 和 cassandra。如果您的 cassandra 集群启用了身份验证，则使用用户名和密码。

如果您想连接到远程 spark 和 cassandra 集群，请将 localhost 替换为 cassandra 主机并在 setMaster 中使用 spark:\\SPARK_HOST

【讨论】：

这里如何设置端口号？我从 oracle 中添加了表，如何在 Cassandra 中保存特定列？
spark.cassandra.connection.port 用于指定 cassandra 端口...使用 df.select(col1,col2,col3,...)