【问题标题】:Why Spark applies a broadcast join for a file with size larger than the autoBroadcastJoinThreshold?为什么 Spark 对大于 autoBroadcastJoinThreshold 的文件应用广播连接?
【发布时间】:2021-05-03 05:01:48
【问题描述】:

我正在使用 spark 3.1.1 并分别加入两个文件大小为 8.6Gb 和 25.2Mb 的数据帧,并且没有应用任何过滤器。 Spark 自动为此使用 BroadcastHashJoin,尽管 spark.sql.autoBroadcastJoinThreshold 默认为 10Mb。

如何在不应用任何过滤器的情况下将 25.2Mb 转换为 8.1Mb 以符合广播条件?

val df1 = spark.read
  .option("header",true)
  .csv("s3a://data/staging/received/data/spark/3/KernelVersionOutputFiles.csv")
  .withColumn("Pid",substring(rand(),3,4).cast("bigint"))


val df2 = spark.read
  .option("header",true)
  .csv("s3a://data/staging/received/data/spark/3/ForumTopics.csv")
  .withColumn("Cid",substring(rand(),3,4).cast("bigint"))

val df3 = df2.coalesce(1)
val joinDf = df1.join(df3, df1("Pid") === df3("Cid"))
val cnt = joinDf.count()

DAG 如下所示:

【问题讨论】:

  • 以下答案是否回答了您的问题?

标签: apache-spark apache-spark-sql


【解决方案1】:

Spark 应用广播连接,因为 csv 中 25MB 的数据(“读取的文件大小”)在 Spark 序列化时会低于 10MB(“数据大小”)。

“读取的文件大小”显示的数量非常准确,因为 Spark 能够直接在数据文件上计算统计信息。但是,DAG 中显示的“数据大小”受到SizeEstimator 不准确的影响。

上面写着:

“估计给定对象在 JVM 堆上占用的字节数。估计值包括给定对象引用的对象、它们的引用等所占用的空间。

这对于确定广播变量将在每个执行程序上占用的堆空间量或在以反序列化形式缓存对象时每个对象将占用的空间量很有用。 这与对象的序列化大小不同,通常会小很多。”

如果您想获取 25MB csv 文件的实际大小,可以将其缓存并检查 WebUI 中的“存储”选项卡。

在我的测试用例中,虽然我也将配置 autoBroadcastJoinThreshold 默认设置为 10MB,但 Spark 应用了广播连接。对于大小为 14MB 的 json 文件,估计为 66MB。我缓存的时候显示3.5MB的大小,明显低于10MB的阈值。

下图是我的测试用例(和你的类似):

以下截图显示了数据的实际大小,只有 3.5MB:

Microsoft 提供了关于此here 的另一个参考。

【讨论】:

    猜你喜欢
    • 2019-05-12
    • 2020-01-21
    • 1970-01-01
    • 1970-01-01
    • 2015-10-08
    • 2018-11-12
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多