Apache Spark SQL 读写 Cassandra TTL

Question

spark sql如何用Dataframe（Spark Sql）读取apache cassandra data ttl。 我没有找到任何例子？ 可以举个例子吗？

我之前的问题是关于 rdd 是否 Spark：Spark get ttl column from cassandra

但现在查询的是 Dataframe。

Answer 1

Spark Cassandra 连接器不支持 DataFrame API 中的 TTL 和 WriteTime。您可以跟踪JIRA SPARKC-528 的进度。

您可以使用 RDD API 读取 TTL 和/或 WriteTime（最好使用 mapper to case class），然后转换为 DataFrame。

2020 年 9 月更新：作为 SCC 2.5.0 release 的一部分发布了对数据帧的 TTL 和 WriteTime 的支持。