无法将 PySpark 数据帧转换为行数 > 15M 记录的 Pandas 数据帧

Question

我正在尝试使用 toPandas() 函数将 PySpark 数据帧转换为 Pandas 数据帧。 然而，它失败了！

我的 Pyspark 数据框包含超过 1500 万条记录。好像有问题？

from pyspark.sql import *  
from pyspark.sql.functions import *  
from pyspark.sql.types import *  
import pandas as pd

df = sqlContext.table("schema.table")
df_pd=df.toPandas()

得到以下错误： 遇到错误： 来自http://xyz:1000/sessions/205/statements/2 的无效状态代码“400”，错误负载：{"msg":"requirement failed: Session is not active."}

任何帮助将不胜感激！

谢谢

Answer 1

Spark 是一个分布式处理框架，而 pandas 在单个节点上完成所有处理。

现在，当您尝试将 spark 数据帧转换为 pandas 时，它会尝试从所有节点获取数据到单一模式，如果您的内存不足以处理单个节点上的所有数据，它将失败，而且它也不是推荐。

为什么你甚至想要将 spark df 转换为 pandas df？我认为您也可以在 spark 中实现类似的功能。