【问题标题】:How to map cassandra date type in spark encoder?如何在火花编码器中映射 cassandra 日期类型?
【发布时间】:2019-11-05 03:48:56
【问题描述】:

我正在尝试在 cassandra 表上实现简单的聚合。但无法在 spark 中映射 cassandra 日期类型。尝试映射Stringjava.sql.Datejava.util.Datejava.time.LocalDateorg.joda.time.LocalDate。没有一个工作。你能告诉我什么 java 类型对于 cassandra 日期类型是正确的吗?

// table definition
CREATE TABLE data (
    day date,
    value bigint,
    // ommited
);

// result model
@Data
class Item {
    String day;
    Long count;
}

// spark query
sparkSession
    .read()
        .format("org.apache.spark.sql.cassandra")
        .option("keyspace", "keyspace")
        .option("table", "data")
        .load()
    .groupBy("day")
        .agg(functions.sum("value").as("sum"))
        .as(Encoders.bean(Item.class))
        .collectAsList();

【问题讨论】:

    标签: apache-spark apache-spark-dataset spark-cassandra-connector


    【解决方案1】:

    java.sql.Date 工作除了换日问题。

    【讨论】:

      猜你喜欢
      • 2017-10-07
      • 1970-01-01
      • 2015-04-21
      • 2016-12-09
      • 2016-10-02
      • 2019-06-01
      • 1970-01-01
      • 2016-02-07
      • 1970-01-01
      相关资源
      最近更新 更多