在下面的伪代码中让我知道，哪些在驱动程序中执行，哪些在执行程序中执行

Question

在下面的伪代码中，哪些在驱动程序中执行，哪些在执行程序中执行？？为什么？？

Dataset1 = Dataset 0（从 Dataset 0 派生 Dataset1）
数据集 2 = 数据集 1 ，数据集 0
对数据集 2 的操作
数据集 3 = 数据集 1，数据集 2

下面的伪代码让我知道

dataframe = spark.sql("select * from emp") dataframe=dataframe.withColumn("fullname",dataframe.empfirstname+dataframe.emplastname) 数据帧.count() 数据框.show()

Answer 1

两者兼而有之。在驱动程序上，spark 将获取您的代码并编译执行图并创建一系列基于 rdd 的转换，这些转换将主要在执行程序上运行。 Spark 足够聪明，可以识别出一些数据帧小到可以直接从驱动程序中读取。切换点通常为 10MB。一旦大部分执行发生在作品上，.show(..) 函数将从执行器加载输出数据以显示。使用 .explain() 获取 spark 打印查询计划。