【发布时间】:2016-01-21 03:33:06
【问题描述】:
我有一个 cassandra 键空间和表,我从中查询数据以便写入另一个键空间/表。我的代码如下:
val test = sc.cassandraTable("model","data")
.where("id = 9999999")
.select("id","cl1","cl2","data")
.filter(row => row.getString("data") == "Hello")
test.saveToCassandra("model","dataspark",SomeColumns("id","cl1","cl2","data"))
问题是由于某种原因,它正在将 model.data 中的所有内容写入 model.dataspark 而不是我在 val 测试变量中指定的内容。我一定有一些语法或错误。
如果我 .collect 并执行 .foreach(println) 它只显示我按预期查询的单个条目。我的 saveToCassandra 语句一定是错误的,但我不确定它有什么问题。
我用一个案例类尝试了整个事情,结果相同:
case class Record(id: Int, cl1: Int, cl2: Int, data: Option[String])
val test = sc.cassandraTable[Record]("model","data")
.where("id = 9999999").select("id","cl1","cl2","data")
test.saveToCassandra("model","dataspark", SomeColumns("id","cl1","cl2","data"))
【问题讨论】:
标签: scala apache-spark cassandra