使用 Amazon S3 根据文件名移动文件

Question

需要根据其名称将 Amazon S3 文件移动到名称相同的相应文件夹。这是针对 AWS 上的 python 中的自动化脚本。文件名加 1。

例如，一个叫my_file_section_a，然后下一个叫my_file_section_b1，然后下一个叫my_file_section_b2，以此类推。这些文件夹将被称为my_file_section_a、my_file_section_b1 等等。

代码如下：

from __future__import print_function
import boto3
import time, urllib
import json

print("*"*80)
print("Initializing...")
print("*"*80)

s3 = boto3.client('s3')

def lambda_handler(event, context):

    source_bucket = event['Records'[0]['s3']['bucket']['name']
    object_key = event['Records'][0]['s3']['object']['key']
    target_bucket = 'myfilelambdadestination'
    copy_source = {'Bucket': source_bucket, 'Key': object_key}
    print("Source bucket: ", source_bucket)
    print("Target bucket: ", target_bucket)
    print("Log Stream name: ",context.log_stream_name)
    print("Log Group name: ",context.log_group_name)
    print("Request ID: ",context.aws_request_id)
    print("Mem. limits(MB) ", context.memory_limit_in_mb)
    try:
        print("Using waiter to waiting for object to persist through s3 service")
        waiter = s3.get_waiter('object_exists')
        waiter.wait(Bucket=source_bucket, Key = object_key)
        s3.copy_object(Bucket=target_bucket, Key = object_key, CopySource = copy_source)
        return response['ContentType']
    except Exception as err:
        print("Error -" +str(err))
        return e

如何将基于名称的文件移动到名称相同的文件夹中？

Answer 1

新文件夹是不带扩展名的文件名。根据 object_key 的外观，您可能会调整此代码

object_key = 'my_file_section_b2.txt'
new_object_prefix = object_key.rsplit('/', 1)[-1].split('.')[0]
new_object_key = new_object_prefix + '/' + object_key
new_object_key
'my_file_section_b2/my_file_section_b2.txt'

Answer 2

这是一个 AWS Lambda 函数，它将一个对象复制到同名目录，然后删除原始对象。

只会从bucket的root复制对象，避免复制的对象再次触发Lambda函数，造成死循环。 （Amazon S3 很大，但不是无限的！）如果您的目标是不同的存储桶，则没有必要这样做。

import boto3
import urllib

def lambda_handler(event, context):
    
    # Get the bucket and object key from the Event
    bucket = event['Records'][0]['s3']['bucket']['name']
    key = urllib.parse.unquote_plus(event['Records'][0]['s3']['object']['key'])
    
    # Only copy objects that were uploaded to the bucket root (to avoid an infinite loop)
    if '/' not in key:
        
        # Copy object
        s3_client = boto3.client('s3')
        s3_client.copy_object(
            Bucket = bucket,
            Key = f"{key}/{key}",
            CopySource= {'Bucket': bucket, 'Key': key}
        )
        
        # Delete source object
        s3_client.delete_object(
            Bucket = bucket,
            Key = key
        )

该函数需要一个具有GetObject 和PutObject（可能更多？）权限的 IAM 角色。创建此 AWS Lambda 函数后，在 Amazon S3 存储桶上创建一个 Event 以在创建对象时触发该函数。