【问题标题】:Updating cassandra collections from spark从 spark 更新 cassandra 集合
【发布时间】:2016-02-09 06:02:20
【问题描述】:

我对 spark-cassandra 还是很陌生。

我正在阅读 spark-casssandra 连接器的文档,以了解如何更新 cassandra 集合。 此链接(https://github.com/datastax/spark-cassandra-connector/blob/master/doc/5_saving.md) 包含以下代码来更新集合:

val listElements = sc.parallelize(Seq(
  (1,Vector("One")),
  (1,Vector("Two")),
  (1,Vector("Three"))))

val prependElements = sc.parallelize(Seq(
  (1,Vector("PrependOne")),
  (1,Vector("PrependTwo")),
  (1,Vector("PrependThree"))))

listElements.saveToCassandra("ks", "collections_mod", SomeColumns("key", "lcol" append))
prependElements.saveToCassandra("ks", "collections_mod", SomeColumns("key", "lcol" prepend))

但是当我在 Eclipse 中尝试上面的代码时,我在“lcol” append 和“lcol” prepend 附近得到一个错误

错误是:值附加不是字符串的成员 和 value prepend 不是 String 的成员

我在这里有什么遗漏吗?我该如何解决这个问题?

【问题讨论】:

    标签: cassandra apache-spark spark-cassandra-connector


    【解决方案1】:

    import com.datastax.spark.connector._ 添加到您的代码中。这将在您的范围内带来从 StringColumnName 的隐式转换。 ColumnName 具有寻找的操作 prependappend 可用。

    【讨论】:

      【解决方案2】:

      我遇到了同样的问题。将sbt 插件升级到"com.datastax.spark" %% "spark-cassandra-connector" % "1.5.0-RC1" 版本并运行./activator clean 帮助

      【讨论】:

        猜你喜欢
        • 2019-01-20
        • 1970-01-01
        • 2018-02-15
        • 2015-03-02
        • 2020-07-27
        • 1970-01-01
        • 2015-10-28
        • 2016-08-10
        • 2020-01-26
        相关资源
        最近更新 更多