cassandra 数据库 - 获取大量数据

Question

有一个 cassandra 2.x 数据库，我必须使用非主键列从一个表中选择一些数据，该列是另一个表的主键，使用简单的 where 子句。 数据在缓存中使用。 问题是检索过程太慢并且使用 datastax 3.x 驱动程序超时。 有什么方法可以在不升级数据库软件或改变现有数据库结构的情况下获取数据。 我尝试使用 datastax api 进行异步获取和分页 - 仍然无法处理数据量并且查询失败。

Answer 1

Cassandra 已针对按主键（完整键、部分键或至少分区键）访问数据进行了高度优化。其他访问模式需要额外的工作。从理论上讲，您可以在相应列上使用二级索引，但仅在搜索数据时才建议您使用至少具有分区键的数据 - 如果您仅单独使用该列，它仍然会到达所有节点并获取所有数据，所以它会慢得多。而且您需要记住其他限制，例如列的基数等（您可以阅读here）。

以编程方式，您也可以对数据进行全面扫描，但它不应该是简单的select * from table，因为它会使协调节点过载，导致超时等。相反，它应该是更复杂的解决方案 - 最好是通过从各个令牌范围读取数据来执行扫描，将查询发送到保持相应范围的节点，并且可以并行执行 - 这就是 Spark Cassandra Connector 和 DSBulk 的工作方式（我认为您可以尝试为该任务采用 DSBulk 代码片段——可以将其用作库）。我也有 an example of how to perform full table scan 使用 Java 驱动程序 - 您可以采用此代码，并将简单计数替换为您的过滤条件。