s3.upload_fileobj 给出错误需要类似字节的对象

Question

我的问题受到previous SO 的启发，主题是：在 Amazon Web Services (AWS) S3 中将 DataFrames 上传并保存为 csv 文件。使用 Python3，我想使用s3.upload_fileobj - 多部分上传 - 使数据传输到 S3 更快。当我在接受的答案中运行代码时，我收到一条错误消息："TypeError: a bytes-like object is required, not 'str'"..

这个答案最近被多次投票。所以我认为必须有一种方法可以在 Python3 中运行此代码而不会出错。

请在下面找到代码。为了方便起见，让我们使用一个简单的 DataFrame。实际上，这个 DataFrame 要大得多（大约 500 MB）。

import pandas as pd
import io

df = pd.DataFrame({'A':[1,2,3], 'B':[6,7,8]})

代码如下。为了方便起见，我将其转为函数：

def upload_file(dataframe, bucket, key):
    """dat=DataFrame, bucket=bucket name in AWS S3, key=key name in AWS S3"""
    s3 = boto3.client('s3')
    csv_buffer = io.BytesIO()
    dataframe.to_csv(csv_buffer, compression='gzip')
    s3.upload_fileobj(csv_buffer, bucket, key)

upload_file(df, your-bucket, your-key)

非常感谢您的建议！

Answer 1

离开this reference，您似乎需要将gzip.GzipFile 对象包裹在您的BytesIO 周围，然后它将为您执行压缩。

import io
import gzip

buffer = io.BytesIO()     
with gzip.GzipFile(fileobj=buffer, mode="wb") as f:
    f.write(df.to_csv().encode())
buffer.seek(0)

s3.upload_fileobj(buffer, bucket, key)

---

最小可验证示例

import io
import gzip
import zlib

# Encode
df = pd.DataFrame({'A':[1,2,3], 'B':[6,7,8]})

buffer = io.BytesIO()     
with gzip.GzipFile(fileobj=buffer, mode="wb") as f:
    f.write(df.to_csv().encode())

buffer.getvalue()
# b'\x1f\x8b\x08\x00\xf0\x0b\x11]\x02\xff\xd3q\xd4q\xe22\xd01\xd41\xe32\xd41\xd21\xe72\xd21\xd6\xb1\xe0\x02\x00Td\xc2\xf5\x17\x00\x00\x00'

# Decode
print(zlib.decompress(out.getvalue(), 16+zlib.MAX_WBITS).decode())

# ,A,B
# 0,1,6
# 1,2,7
# 2,3,8

Answer 2

您唯一需要的是 TextIOWrapper，因为 to_csv 需要 string 而 upload_fileobj 需要 bytes

def upload_file(dataframe, bucket, key):
    """dat=DataFrame, bucket=bucket name in AWS S3, key=key name in AWS S3"""
    s3 = boto3.client('s3')
    csv_buffer = io.BytesIO()
    w = io.TextIOWrapper(csv_buffer)
    dataframe.to_csv(w, compression='gzip')
    w.seek(0)
    s3.upload_fileobj(csv_buffer, bucket, key)

而且代码上传正常

$ cat test.csv
,A,B
0,1,6
1,2,7
2,3,8

Answer 3

你可以试试这样的。

import pandas as pd
import io

df = pd.DataFrame({'A':[1,2,3], 'B':[6,7,8]})

def upload_file(dataframe, bucket, key):
    """dat=DataFrame, bucket=bucket name in AWS S3, key=key name in AWS S3"""
    s3 = boto3.client('s3')
    csv_buffer = io.StringIO()
    dataframe.to_csv(csv_buffer, compression='gzip')
    csv_buffer.seek(0)
    s3.upload_fileobj(csv_buffer, bucket, key)

upload_file(df, your-bucket, your-key)