【发布时间】:2021-05-08 15:19:56
【问题描述】:
我正在尝试从 hdfs 路径读取文件路径并在顶部进行一些转换,最后在其顶部应用一些自定义分区。
下面是代码:
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, Path}
val extensionPattern: String = ".*.csv"
val numPartitions = 96
val fs = FileSystem.get(new Configuration())
val rdd = fs
.listStatus(new Path(path))
.filter(x => x.getPath.toString.matches("^.*/" + extensionPattern + "$"))
.map(x => x.getPath.toString)
.toList
.zipWithIndex
.map(_.swap)
.toDS
.rdd.partitionBy(new ExactPartitioner(numPartitions))
每次运行此命令时,我都会看到 ShuffledRDD[] 值的不同值。它不断增加,但我无法理解它的目的是什么以及为什么需要它。是否也会影响我在这行代码之后所做的操作。
您可以看到笔记本单元格的输出如下:
图像中突出显示的数字不断变化。
【问题讨论】:
标签: scala apache-spark rdd