使用 AWS Lambda (python) 编写 csv 文件并将其保存到 S3

Question

我正在尝试使用 AWS Lambda 将 csv 文件写入 S3 存储桶，为此我使用了以下代码：

data=[[1,2,3],[23,56,98]]
with open("s3://my_bucket/my_file.csv", "w") as f:
   f.write(data)

这会引发以下错误：

[Errno 2] No such file or directory: u's3://my_bucket/my_file.csv': IOError
Traceback (most recent call last):
File "/var/task/lambda_function.py", line 51, in lambda_handler
with open("s3://my_bucket/my_file.csv", "w") as f:
IOError: [Errno 2] No such file or directory: u's3://my_bucket/my_file.csv'

请问我可以帮忙吗？

PS：我使用的是 python 2.7

提前谢谢你

Answer 1

晚点回答总比不回答好。在 S3 中获取数据有四个步骤：

• 调用 S3 存储桶
• 使用 requests 库将数据加载到 Lambda 中（如果您没有安装，则必须将其作为层加载）
• 将数据写入 Lambda '/tmp' 文件
• 上传文件到s3

类似这样的：

import csv
import requests
#all other apropriate libs already be loaded in lambda

#properly call your s3 bucket
s3 = boto3.resource('s3')
bucket = s3.Bucket('your-bucket-name')
key = 'yourfilename.txt'

#you would need to grab the file from somewhere. Use this incomplete line below to get started:
with requests.Session() as s:
    getfile = s.get('yourfilelocation')

#Only then you can write the data into the '/tmp' folder.
with open('/tmp/yourfilename.txt', 'w', newline='') as f:
    w = csv.writer(f)
    w.writerows(filelist)
#upload the data into s3
bucket.upload_file('/tmp/yourfilename.txt', key)

希望对你有帮助。

Answer 2

我不知道使用 AWS Lambda，但我一直在使用 Boto3 来做同样的事情。 这是一个简单的几行代码。

#Your file path will be something like this:
#s3://<your_s3_bucket_name>/<Directory_name>/<File_name>.csv

import boto3

BUCKET_NAME = '<your_s3_bucket_name>'
PREFIX = '<Directory_name>/'
s3 = boto3.resource('s3')
obj = s3.Object(BUCKET_NAME, PREFIX + '<File_name>.csv')
obj.put(Body=content)

Answer 3

with open("s3://my_bucket/my_file.csv", "w+") as f:

而不是

with open("s3://my_bucket/my_file.csv", "w") as f:

注意“w”已更改为“w+”，这意味着它将写入文件，如果它不存在，它将创建它。