【发布时间】:2021-05-03 05:01:48
【问题描述】:
我正在使用 spark 3.1.1 并分别加入两个文件大小为 8.6Gb 和 25.2Mb 的数据帧,并且没有应用任何过滤器。 Spark 自动为此使用 BroadcastHashJoin,尽管 spark.sql.autoBroadcastJoinThreshold 默认为 10Mb。
如何在不应用任何过滤器的情况下将 25.2Mb 转换为 8.1Mb 以符合广播条件?
val df1 = spark.read
.option("header",true)
.csv("s3a://data/staging/received/data/spark/3/KernelVersionOutputFiles.csv")
.withColumn("Pid",substring(rand(),3,4).cast("bigint"))
val df2 = spark.read
.option("header",true)
.csv("s3a://data/staging/received/data/spark/3/ForumTopics.csv")
.withColumn("Cid",substring(rand(),3,4).cast("bigint"))
val df3 = df2.coalesce(1)
val joinDf = df1.join(df3, df1("Pid") === df3("Cid"))
val cnt = joinDf.count()
DAG 如下所示:
【问题讨论】:
-
以下答案是否回答了您的问题?
标签: apache-spark apache-spark-sql