如何在突触分析（Microsoft azure）中将 spark_df 读取为数据框？答案

【问题标题】：How to read the spark_df as dataframe in synapse analytics (Microsoft azure)?如何在突触分析（Microsoft azure）中将 spark_df 读取为数据框？
【发布时间】：2021-05-31 23:18:14
【问题描述】：

如何在突触分析（Microsoft azure）中将 spark_df 读取为数据框，以便我可以在笔记本中使用必要的 pandas 代码？

spark_df = spark.createDataFrame(filtered_df)
spark_df.write.mode("overwrite").saveAsTable("default.NYC_Taxi")

现在我想将表格读取为数据框。我尝试了以下代码：

new_df = NYC_Taxi.to_pandas_dataframe()

错误：

NameError : name 'nyc_taxi' is not defined
Traceback (most recent call last):
NameError: name 'nyc_taxi' is not defined

【问题讨论】：

标签： python azure azure-synapse

【解决方案1】：

你可以这样使用代码：

spark_df = spark.createDataFrame(filtered_df)

new_df = spark_df.select("*").toPandas()

【讨论】：