我有一个三节点 Cassandra 集群，每个节点上运行 Spark 执行器。我知道要扫描 Cassandra 数据库，SCC(Spark-Cassandra-Connector) 使用范围查询将令牌放在 where 子句中。在不同节点上运行的 SCC 实例如何能够选择与在其他节点上运行的其他 SCC 实例不同的范围。例如，node1 上的 SCC 实例 A 选择了一个范围 RangeA，那么 SCC 实例 B 和 C 如何决定不使用相同的范围 RangeA？
他们会互相交流吗？
【问题讨论】：
标签： apache-spark cassandra spark-cassandra-connector
spark-cassandra-connector 的内部结构相当复杂，但最重要的部分（过于简化）如下：
query locally。例如，为了避开网络并让 spark executor 查询其本地 cassandra 节点ring describe，因此在此之后有一个完整的了解在哪里可以找到什么代币的一部分）它比这要复杂一些，但简而言之就是这样。我认为来自 Datastax 的 video 解释得更好。
您可能还想考虑reading 这个问题（诚然，答案很模糊）。
请注意，以驱动程序可以尝试执行此操作的方式构建数据和查询需要一些技能/知识。
实际上，最常见的性能问题类型通常源于结构不良的数据或导致非本地执行的查询。 datastax java 驱动程序和 spark-cassandra-connector 在内部尽最大努力使查询本地化，但您需要还遵循最佳实践来构建数据。如果您还没有这样做，我建议您阅读/通过 DataStax 的 Data Modeling By Example 文章中描述的培训。
正如您所提到的，有时执行程序与节点不在同一主机上。不过，原理是一样的：
当您有查询时，它是在某个令牌范围内。此查询的一些数据将归node A“所有”，一些数据将归node B“所有”，还有一些归node C“所有”。
ring describe 操作告诉驱动程序，对于某个范围，它的哪一部分在node A，哪一部分在node B，哪一部分在node C。然后，驱动程序基本上将查询拆分为 3 个子查询，并从拥有特定范围的适当节点请求它。
每个节点都用自己的部分进行响应，最后由驱动程序聚合。
你可能注意到local or not，原理完全一样：
仅向每个节点询问其拥有的特定范围，驱动程序之前通过使用
ring describe操作了解到该范围。
希望它更清楚一点。
【讨论】：
驱动程序在执行操作时正在生成分区列表，然后将映射到 Spark 分区并在工作节点之间分发。分区的生成确实取决于多种因素（您可以查看ScanHelper.getPartitionGenerator function）：
基于此，它返回一个CassandraPartitionGenerator class 的实例，该实例使用partitions function 执行真正的分区生成，从集群中获取令牌范围列表，如有必要，将这些令牌范围拆分为较小的令牌范围，按它们所属的节点等对它们进行分组。
CassandraPartitionGenerator 的实例随后被 DataFrame 或 RDD API 用于获取将由 Spark 调度执行的 Spark 分区列表。最后这些分区由CqlTokenRange class 转换为CQL where 子句。
附： Russel Spitzer 还写了一篇关于 Spark 数据本地化和 Spark Cassandra 连接器的 blog post - 这也有助于理解。
【讨论】：