如何从 pyspark 数据框中保存带有多张工作表的 excel 文件

Question

我是 pyspark 的新手，并且在 pyspark 3.0.1 中从事数据砖的工作。我有两个 pyspark 数据框，df1 和 df2，我需要将它们保存在 ADLS gen2 中的两张 excel 文件中。所以我写了以下脚本

writer = pd.ExcelWriter(path+"multipleSheet.xlsx", engine='xlsxwriter')
df1.toPandas().to_excel(writer, sheet_name='df1')
df2.toPandas().to_excel(writer, sheet_name='df2')
writer.save()

path 是我的 ADLS 路径。不幸的是，我在运行代码时没有发现错误，也没有在我的 ADLS 中看到 excel 文件

我做错了吗？请推荐

Answer 1

如果您想在一个文件中保存多张工作表，您可以使用：

import pandas as pd

with pd.ExcelWriter('output.xlsx', engine='xlsxwriter') as writer:
    df1.toPandas().to_excel(writer, sheet_name='Sheet_name_1')
    df2.toPandas().to_excel(writer, sheet_name='Sheet_name_2')

您也可以尝试使用默认的写入引擎openpyxl（需要安装）而不是xlsxwriter。