Dataframe.toPandas 总是在驱动节点还是工作节点上？

Question

假设您正在通过 SparkContext 和 Hive 加载一个大型数据集。所以这个数据集然后分布在你的 Spark 集群中。例如，数千个变量的观察结果（值 + 时间戳）。

现在您将使用一些 map/reduce 方法或聚合来组织/分析您的数据。例如按变量名分组。

分组后，您可以将每个变量的所有观察值（值）作为时间序列数据框。如果你现在使用 DataFrame.toPandas

def myFunction(data_frame):
   data_frame.toPandas()

df = sc.load....
df.groupBy('var_name').mapValues(_.toDF).map(myFunction)

1. 这是否转换为每个上的 Pandas 数据帧（每个变量） 工作节点，或
2. Pandas Dataframes 是否总是在驱动节点上，因此数据会从工作节点传输到驱动程序？

Answer 1

在这种情况下，Pandas DataFrame 没有什么特别之处。

• 如果DataFrame 是通过对pyspark.sql.dataframe.DataFrame 使用toPandas 方法创建的@this collects data and creates local Python object on the driver。
• 如果在执行程序进程 (for example in mapPartitions) 中创建了pandas.core.frame.DataFrame，您只需得到RDD[pandas.core.frame.DataFrame]。 Pandas 对象之间没有区别，比如tuple。
• 最后，您示例中的伪代码无法工作，因为您无法在执行程序线程中创建（以合理的方式）Spark DataFrame（我假设这就是您所说的 _.toDF）。