如何从spark将文件写入cassandra

Question

我是 spark 和 Cassandra 的新手。我使用此代码，但它给了我错误。

val dfprev = df.select(col = "se","hu")
val a = dfprev.select("se")
val b = dfprev.select("hu")
val collection = sc.parallelize(Seq(a,b))
collection.saveToCassandra("keyspace", "table", SomeColumns("se","hu"))

当我在savetocassandra 上输入此代码时，它给了我错误，错误是：

java.lang.IllegalArgumentException：不允许具有相同数量参数的多个构造函数。 在 com.datastax.spark.connector.util.Reflect$.methodSymbol(Reflect.scala:16) 在 com.datastax.spark.connector.util.ReflectionUtil$.constructorParams(ReflectionUtil.scala:63) 在 com.datastax.spark.connector.mapper.DefaultColumnMapper.(DefaultColumnMapper.scala:45) 在 com.datastax.spark.connector.mapper.LowPriorityColumnMapper$class.defaultColumnMapper(ColumnMapper.scala:51) 在 om.datastax.spark.connector.mapper.ColumnMapper$.defaultColumnMapper(ColumnMapper.scala:55)

Answer 1

val dfprev = df.select("se","hu")
dfprev.write.format("org.apache.spark.sql.cassandra")
.options(Map("keyspace"->"YOUR_KEYSPACE_NAME","table"->"YOUR_TABLE_NAME"))
.mode(SaveMode.Append)
.save()

变量a 和b 是数据帧类型。 sc.parallelize 从元素集合创建 RDD，它不接受数据帧作为输入。

注意：在sparkconf中设置spark.cassandra.connection.host AND spark.cassandra.auth.username & spark.cassandra.auth.password（如果启用了身份验证）