AWS Lambda - 将 S3 中的多个 CSV 文件合并到一个文件中

Question

我正在尝试了解和学习如何将特定存储桶中的所有文件放入一个 csv 文件中。我有类似于日志的文件，并且始终采用相同的格式并保存在同一个存储桶中。我有这段代码可以访问它们并阅读它们：

bucket = s3_resource.Bucket(bucket_name)
for obj in bucket.objects.all():
    x = obj.get()['Body'].read().decode('utf-8')
    print(x)

它确实在特定文件和列标题之间分开打印它们。

我的问题是，如何修改循环以将它们放入一个 csv 文件中？

Answer 1

您应该在/tmp/ 和write 中创建一个文件，将每个对象的内容放入该文件中。

然后，当所有文件都被读取后，上传文件（或做任何你想做的事情）。

output = open('/tmp/outfile.txt', 'w')

bucket = s3_resource.Bucket(bucket_name)
for obj in bucket.objects.all():
    output.write(obj.get()['Body'].read().decode('utf-8'))
    
output.close

请注意，/tmp/ 目录中有 512MB 的限制。