aws lambda 逐行读取并写入文件

Question

如何使用 AWS lambda 和 python 将文件处理步骤的结果写回文件？ 我正在从 S3 读取一个文件并在每一行中寻找一个特殊的表达方式。如果包含此表达式，我将操作该行。由于 lambda 无法写入文件（或 S3 不允许这样做），如何收集行转换的结果并将所有转换的行写入文件？ 代码如下所示：

import boto3
import botocore

s3 = boto3.resource('s3')
s3 = boto3.client('s3')

def lambda_handler(event, context):

bucket = event['Records'][0]['s3']['bucket']['name']
key = event['Records'][0]['s3']['object']['key']

obj = s3.get_object(Bucket=bucket, Key=key)

for line in obj['Body'].read().decode('utf-8').splitlines():
    if 'PCSI' in line:
        newLine = line \
        .replace('E','') \
        .replace('--','') \
        .replace('<',';') \
        .replace('>','') \
        .replace('9_PCSI','') \
        .replace('[','') \
        .replace('|',';') \
        .replace(']',';') \
        .replace(' ','')

当我打印结果时，它工作正常，并为我提供了我想要的每一行的格式。

我的一个想法是写入 lambda 的 /tmp 文件夹中的文件：

newFile = open('/tmp/pcsi.txt','a')

并修改代码

...
if 'PCSI' in line:
    newFile.write(line \
    .replace(.....

但我不知道这是否有效，因为我无法“看到”/tmp 中的文件。我也很难将它再次下载到 S3。有没有办法将每一行写入文件并将其存储到 S3？

Answer 1

你已经成功了一半。您已从 s3 读取对象并根据您的要求对其进行操作。现在，您必须将其写入 s3，以便您在 lambda 函数中所做的修改反映在 s3 中。

这可以通过

来完成

• Object.put() 或
• Client.put_object()

在这里，使用 put_object 看起来像

client.put_object(Body=manipulated_object, Bucket=bucket, Key=key)