Spark 是否使用数据局部性？

Question

我正在尝试了解 Apache Spark 的内部结构。我想知道 Spark 在从 InputFormat 读取或写入 OutputFormat（或 Spark 原生支持且不是从 MapReduce 派生的其他格式）时是否使用某些机制来确保数据局部性。

在第一种情况下（阅读），我的理解是，在使用 InputFormat 时，拆分与包含数据的主机（或主机？？）相关联，因此 Spark 尝试将任务分配给执行程序以减少网络尽可能转移。

在写作的情况下，这样的机制将如何运作？我知道从技术上讲，HDFS 中的文件可以保存在本地的任何节点中并复制到其他两个（因此您将网络用于 3 个副本中的两个），但是，如果您考虑写入其他系统，例如 NoSQL 数据库（ Cassandra、HBase 等），这样的系统有自己的数据分发方式。有没有办法告诉 spark 根据输出接收器（目标 NoSQL 数据库，本机或通过 OutputFormat 看到的）预期数据分布优化数据局部性的方式对 RDD 进行分区？

我指的是 Spark 节点和 NoSQL 节点位于同一物理机中的环境。

Answer 1

如果您在同一台物理机上使用 Spark 和 Cassandra，请查看 spark-cassandra-connector 它将确保读取和写入的数据本地性。

例如，如果您将 Cassandra 表加载到 RDD 中，连接器将始终尝试在每个节点上本地对此 RDD 执行操作。 当您将 RDD 保存到 Cassandra 中时，连接器也会尝试在本地保存结果。

这是假设您的数据已经在您的 Cassandra 集群中平衡。如果你的 PartitionKey 没有正确完成，你最终会得到一个不平衡的集群。

还要注意 Spark 上的改组作业。例如，如果您对 RDD 执行 ReduceByKey，则无论如何您最终都会通过网络流式传输数据。因此，请务必仔细计划这些工作。