Cassandra在中间终止连接？

Question

我正在使用来自 datastax 的 Cassandra 驱动程序。我知道我在一张表中有 2000 万行。当我使用

Select * from table

该过程在提取了大约 800000 行后停止。

在我的 Java 代码中

futureResults = session.executeAsync(statement);
ResultSet results = futureResults.getUninterruptibly();
for (Row row : results) {

}

也许我做错了什么？

Answer 1

你正在做的是一个相当常见的 Cassandra 反模式。由于数据的每个分区都位于集群的不同部分，因此该查询将创建一个以一个协调器为中心的大规模分散/聚集。最终事情开始超时，协调器将抛出一个错误。快速查看日志应该会找到它。

几乎总是，一个选择查询应该包含一个局部分区键。如果这不可能，最好切换到可以有效扫描每个节点的批处理。 Cassandra 的 Spark 连接器非常适合这样的访问模式。