无法通过 Spark + Scala 连接到远程 Cassandra

Question

我在尝试使用 Apache-Spark 和 Scala 连接到远程 Cassandra 时遇到了一些麻烦。我过去以同样的方式成功地连接到 MongoDb。

这次我真的不明白为什么会出现以下错误：

无法在 {127.0.0.1}:9042 打开到 Cassandra 的本机连接

我猜这是一个依赖和版本问题，但我无法找到任何与此问题相关的内容，尤其是在文档和其他问题上。

我基本上设法通过 ssh-tunnel 使用jsch 连接到我的服务器，并且一切正常。然后，我可以使用 SparkConnectionFactory.scala 成功连接到本地 apache-spark：

package connection

import org.apache.spark.{SparkConf, SparkContext}

class SparkConnectionFactory {

  var sparkContext : SparkContext = _

  def initSparkConnection = {
    val configuration = new SparkConf(true).setMaster("local[8]")
                        .setAppName("my_test")
                        .set("spark.cassandra.connection.host", "localhost")
                        .set("spark.cassandra.input.consistency.level","ONE")
                        .set("spark.driver.allowMultipleContexts", "true")
    val sc = new SparkContext(configuration)
    sparkContext = sc
  }

  def getSparkInstance : SparkContext = {
    sparkContext
  }

}

并在我的 Main.scala 中调用它：

val sparkConnectionFactory = new SparkConnectionFactory
sparkConnectionFactory.initSparkConnection
val sc : SparkContext = sparkConnectionFactory.getSparkInstance

但是，当我尝试使用以下方法选择 Cassandra 表中的所有项目时：

val rdd = sc.cassandraTable("my_keyspace", "my_table")
rdd.foreach(println) 

我收到上面写的错误。

在我的服务器上，我安装了Scala ~v2.11.6、Spark ~v2.1.1、SparkSQL ~v2.1.1。当然，我有 8 个内核，复制因子为 1。在我的 pom.xml 上，我有：

. . .
<properties>
    <scala.version>2.11.6</scala.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>${scala.version}</version>
    </dependency>

    . . .

    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.1.1</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/com.datastax.spark/spark-cassandra-connector_2.10 -->
    <dependency>
        <groupId>com.datastax.spark</groupId>
        <artifactId>spark-cassandra-connector_2.11</artifactId>
        <version>2.0.3</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.10 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.1.1</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/commons-codec/commons-codec -->
    <dependency>
        <groupId>commons-codec</groupId>
        <artifactId>commons-codec</artifactId>
        <version>1.9</version>
    </dependency>

</dependencies>    

我的问题是由版本冲突引起的吗？如果是，我该如何解决这个问题？如果没有，有什么提示吗？

提前致谢。

Answer 1

我将端口 9042 转发到 8988

那就是你需要连接的端口

.set("spark.cassandra.connection.port", 8988)