【问题标题】:What does the number after the ShuffledRDD['number'] indicates?ShuffledRDD['number'] 后面的数字代表什么?
【发布时间】:2021-05-08 15:19:56
【问题描述】:

我正在尝试从 hdfs 路径读取文件路径并在顶部进行一些转换,最后在其顶部应用一些自定义分区。

下面是代码:

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, Path} 
val extensionPattern: String = ".*.csv"
val numPartitions = 96
val fs = FileSystem.get(new Configuration())
val rdd = fs
      .listStatus(new Path(path))
      .filter(x => x.getPath.toString.matches("^.*/" + extensionPattern + "$"))
      .map(x => x.getPath.toString)
      .toList
      .zipWithIndex
      .map(_.swap)
      .toDS
      .rdd.partitionBy(new ExactPartitioner(numPartitions))

每次运行此命令时,我都会看到 ShuffledRDD[] 值的不同值。它不断增加,但我无法理解它的目的是什么以及为什么需要它。是否也会影响我在这行代码之后所做的操作。

您可以看到笔记本单元格的输出如下:

图像中突出显示的数字不断变化。

【问题讨论】:

    标签: scala apache-spark rdd


    【解决方案1】:

    根据一个RDD的toStringdefinition,数字对应于RDD对象的ID(格式字符串中的第三个参数):

    override def toString: String = "%s%s[%d] at %s".format(
        Option(name).map(_ + " ").getOrElse(""), getClass.getSimpleName, id, getCreationSite)
    

    该数字不应影响代码中的任何内容。每次执行操作时它都会不断增加,因为每次运行定义 val rdd 的行时都会创建一个新的 RDD。

    【讨论】:

      猜你喜欢
      • 2013-07-08
      • 2019-10-12
      • 2017-02-22
      • 2017-04-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多