在 AWS 中存储从 Pandas 导出的 Excel 文件

Question

我正在使用 Flask 制作一个带有 SQLite 数据库的小型网站。我想做的一件事是获取一些数据（从数据库中）并将其导出为 Excel 文件。我想提供下载该 Excel 文件的选项。一种选择是使用 Pandas 写入将存储在 Web 服务器上的 Excel 文件，并使用 Flask 的send_file 提供下载选项。

但是，是否可以在不将文件“本地”存储在服务器上的情况下提供可下载的 Excel 文件？例如在 AWS S3 上。我想在 Web 服务器上拥有可预测的存储大小。 （无论如何，看看是否有可能。）

一种选择可能是“本地”写入文件，然后将其发送到 AWS，然后将其从服务器中删除。理想情况下，我宁愿直接捕获文件流，然后将其发送到 S3，但我认为这是不可能的，因为 to_excel 只采用文件路径（或 ExcelWriter 对象，但采用文件路径） .

Answer 1

要添加到 balderman 的答案，将其导入 S3 的完整代码是

import io
import pandas as pd
import boto3

# ...

# make data frame 'df'

with io.BytesIO() as output:
  with pd.ExcelWriter(output, engine='xlsxwriter') as writer:
    df.to_excel(writer)
  data = output.getvalue()

s3 = boto3.resource('s3')
s3.Bucket('my-bucket').put_object(Key='data.xlsx', Body=data)

另请参阅XlsxWriter documentation。

Answer 2

取自这里：Write to StringIO object using Pandas Excelwriter?

您可以将“输出”转储到 S3

# Note, Python 2 example. For Python 3 use: output = io.BytesIO().
output = StringIO.StringIO()

# Use the StringIO object as the filehandle.
writer = pd.ExcelWriter(output, engine='xlsxwriter')