spark中数据帧的重新分区不起作用

Question

我有一个 cassandra 数据库，其中包含大约 400 万条记录。我有 3 个从机和一个驱动程序。我想将此数据加载到火花内存中并对其进行处理。当我执行以下操作时，它会读取一台从机（6 Gb 中的 300 mb）中的所有数据，并且所有其他从机内存都未使用。我将数据帧重新分配为 3，但数据仍然存在于一台机器上。因此，由于每个作业都在一台机器上执行，因此处理数据需要大量时间。这就是我正在做的事情

val tabledf = _sqlContext.read.format("org.apache.spark.sql.cassandra").options(Map( "table" -> "events", "keyspace" -> "sams")).load
        tabledf.registerTempTable("tempdf");
        _sqlContext.cacheTable("tempdf");
val rdd = _sqlContext.sql(query);   
val partitionedRdd = rdd.repartition(3)
        val count = partitionedRdd.count.toInt

当我对 partitionedRdd 执行一些操作时，它只在一台机器上执行，因为所有数据都只存在于一台机器上

更新 我在配置中使用它--conf spark.cassandra.input.split.size_in_mb=32，我的所有数据仍然加载到一个执行器中

更新 我正在使用 spark 1.4 版和 spark cassandra 连接器 1.4 版发布

Answer 1

如果“查询”仅访问单个 C* 分区键，您将只能获得单个任务，因为我们还没有办法自动并行获取单个 cassandra 分区。如果您正在访问多个 C* 分区，请尝试进一步缩小输入 split_size 以 mb 为单位。