【发布时间】:2019-11-05 03:48:56
【问题描述】:
我正在尝试在 cassandra 表上实现简单的聚合。但无法在 spark 中映射 cassandra 日期类型。尝试映射String、java.sql.Date、java.util.Date、java.time.LocalDate、org.joda.time.LocalDate。没有一个工作。你能告诉我什么 java 类型对于 cassandra 日期类型是正确的吗?
// table definition
CREATE TABLE data (
day date,
value bigint,
// ommited
);
// result model
@Data
class Item {
String day;
Long count;
}
// spark query
sparkSession
.read()
.format("org.apache.spark.sql.cassandra")
.option("keyspace", "keyspace")
.option("table", "data")
.load()
.groupBy("day")
.agg(functions.sum("value").as("sum"))
.as(Encoders.bean(Item.class))
.collectAsList();
【问题讨论】:
标签: apache-spark apache-spark-dataset spark-cassandra-connector