使用 Java Cassandra Spark SQL 连接器按日期查询时遇到问题

Question

我正在尝试使用 Spark SQL 按日期范围查询表。例如，我正在尝试运行如下 SQL 语句：SELECT * FROM trip WHERE utc_startdate >= '2015-01-01' AND utc_startdate

SparkConf sparkConf = new SparkConf().setMaster("local").setAppName("SparkTest")
    .set("spark.executor.memory", "1g")
    .set("spark.cassandra.connection.host", "localhost")
    .set("spark.cassandra.connection.native.port", "9042")
    .set("spark.cassandra.connection.rpc.port", "9160");
JavaSparkContext context = new JavaSparkContext(sparkConf);
JavaCassandraSQLContext sqlContext = new JavaCassandraSQLContext(context);
sqlContext.sqlContext().setKeyspace("mykeyspace");

String sql = "SELECT * FROM trip WHERE utc_startdate >= '2015-01-01' AND utc_startdate < '2015-12-31' AND deployment_id = 1 AND device_id = 1";
JavaSchemaRDD rdd = sqlContext.sql(sql);
List<Row> rows = rdd.collect(); // rows.size() is zero when I would expect it to contain numerous rows.

架构：

CREATE TABLE trip (
    device_id bigint,
    deployment_id bigint,
    utc_startdate timestamp,
    other columns....
    PRIMARY KEY ((device_id, deployment_id), utc_startdate)
) WITH CLUSTERING ORDER BY (utc_startdate ASC);

任何帮助将不胜感激。

Answer 1

您的表架构（特别是您的 PRIMARY KEY 定义）是什么样的？即使没有看到它，我也相当肯定您看到了这种行为，因为您没有使用分区键限定查询。使用ALLOW FILTERING 指令将按date 过滤行（假设这是您的聚类键），但这对于大型集群或大型数据集来说不是一个好的解决方案。

假设您正在查询某个地理区域的用户。如果你使用 region 作为分区键，你可以运行这个查询，它会工作：

SELECT * FROM users
WHERE region='California'
AND date >= '2015-01-01' AND date <= '2015-12-31';

阅读 Patrick McFadin 在Getting Started with Timeseries Data 上的文章。这有一些很好的例子可以帮助你。