从火花数据框到熊猫数据框

Question

我有一个通过这种方式创建的 spark 数据框：

tx_df = (spark
         .read
         .parquet("/data/file"))



tx_ecommerce = tx_df.filter(tx_df["POS_Cardholder_Presence"]=="ECommerce").show()

我尝试将 tx_commerce 转换为 pandas 数据框。我试过这样：

tx_ecommerce.toPandas()

但我得到了这个错误：

----------------------------------- ---------------------------- AttributeError Traceback（最近调用 最后）在 ----> 1 tx_ecommerce.toPandas()

AttributeError: 'NoneType' 对象没有属性 'toPandas'

请帮忙解决这个问题？

谢谢

Answer 1

当你把 .show() 放在最后时，它不再是 pyspark 数据框了。

删除它，它应该可以工作。

tx_ecommerce =tx_df.filter(tx_df["POS_Cardholder_Presence"]=="ECommerce")

tx_ecommerce.toPandas()