如何每次将新上传的文件从 s3 下载到 ec2

Question

我有一个s3 存储桶，它将全天接收新文件。每次将新文件上传到存储桶时，我都想将这些下载到我的 ec2 实例。

我已经读到它可以使用sqs 或sns 或lambda。哪一个是最简单的？文件上传到存储桶后，我需要尽快下载文件。

编辑

我基本上每隔几秒或几分钟就会在存储桶中获取 png 图像。每次上传新图像时，我都想在已经运行的实例上下载它。我会做一些人工智能处理。由于图像会不断进入存储桶，因此我想不断将其下载到 ec2 中并尽快处理。 到目前为止，这是我在 Lambda 函数中的代码。

import boto3
import json


def lambda_handler(event, context):
    """Read file from s3 on trigger."""
    #print(event)
    s3 = boto3.client("s3")
    client = boto3.client("ec2")
    ssm = boto3.client("ssm")
    instanceid = "******"

    if event:
        file_obj = event["Records"][0]
        #print(file_obj)
        bucketname = str(file_obj["s3"]["bucket"]["name"])
        print(bucketname)
        filename = str(file_obj["s3"]["object"]["key"])
        print(filename)
        
        response = ssm.send_command(
            InstanceIds=[instanceid],
            DocumentName="AWS-RunShellScript",
            Parameters={
                "commands": [f"aws s3 cp {filename} ."]
            },  # replace command_to_be_executed with command
        )
        
  
        # fetching command id for the output
        command_id = response["Command"]["CommandId"]

        time.sleep(3)

        # fetching command output
        output = ssm.get_command_invocation(CommandId=command_id, InstanceId=instanceid)
        print(output)
    return

但是我收到以下错误

Test Event Name
test

Response
{
  "errorMessage": "2021-12-01T14:11:30.781Z 88dbe51b-53d6-4c06-8c16-207698b3a936 Task timed out after 3.00 seconds"
}

Function Logs
START RequestId: 88dbe51b-53d6-4c06-8c16-207698b3a936 Version: $LATEST
END RequestId: 88dbe51b-53d6-4c06-8c16-207698b3a936
REPORT RequestId: 88dbe51b-53d6-4c06-8c16-207698b3a936  Duration: 3003.58 ms    Billed Duration: 3000 ms    Memory Size: 128 MB Max Memory Used: 87 MB  Init Duration: 314.81 ms    
2021-12-01T14:11:30.781Z 88dbe51b-53d6-4c06-8c16-207698b3a936 Task timed out after 3.00 seconds

Request ID
88dbe51b-53d6-4c06-8c16-207698b3a936

当我删除所有与 ssm 相关的行时，它工作正常。是权限问题还是代码有问题？

EDIT2

我的代码正在运行，但在我的 ec2 实例中没有看到任何输出或更改。我应该在主目录中看到一个空文本文件，但我什么也没看到 代码

import boto3
import json
import time

import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    """Read file from s3 on trigger."""
    #print(event)
    s3 = boto3.client("s3")
    client = boto3.client("ec2")
    ssm = boto3.client("ssm")
    instanceid = "******"
    print("HI")
    if event:
        file_obj = event["Records"][0]
        #print(file_obj)
        bucketname = str(file_obj["s3"]["bucket"]["name"])
        print(bucketname)
        filename = str(file_obj["s3"]["object"]["key"])
        print(filename)
        print("sending")
        try:
            response = ssm.send_command(
                InstanceIds=[instanceid],
                DocumentName="AWS-RunShellScript",
                Parameters={
                    "commands": ["touch hi.txt"]
                },  # replace command_to_be_executed with command
            )
            # fetching command id for the output
            command_id = response["Command"]["CommandId"]

            time.sleep(3)

            # fetching command output
            output = ssm.get_command_invocation(CommandId=command_id, InstanceId=instanceid)
            print(output)
            
        except Exception as e:
            logger.error(e)
            raise e
        
        
  

Answer 1

我不知道为什么这里有 Lambda 的推荐。您需要的很简单：S3 object created event notification -> SQS 和您的 EC2 实例上的一些工作正在监视 long polling queue。

这是一个这样的 python 脚本的例子。您需要理清对象键在事件中的编码方式，但它会在那里。我还没有测试过，但应该很接近。

import boto3


def main() -> None:
    s3 = boto3.client("s3")
    sqs = boto3.client("sqs")
    while True:
        res = sqs.receive_message(
            QueueUrl="yourQueue",
            WaitTimeSeconds=20,
        )
        for msg in res.get("Messages", []):
            s3.download_file("yourBucket", msg["key"], "local/file/path")


if __name__ == "__main__":
    main()

Answer 2

您可以使用S3 Event Notifications，它会对进入s3 存储桶的新文件作出反应。 s3 事件支持的目的地是SNS、SQS 或AWS lambda。

您可以直接使用 lambda 作为目的地，如 @Marcin 所述

您可以使用 SQS has queue with a lambda behind 从队列中拉取。它允许你有一些能力，如死信队列。然后，您可以使用不同的方法从队列中提取消息：

• AWS CLI
• AWS 开发工具包

您可以在 SNS 后面使用不同的东西（您可以在一行中拥有许多这样的目的地，这象征着 扇出模式：

• 用于管理文件的 SQS 队列
• 要通知的电子邮件
• 一个 lambda 函数
• ...

您可以在这篇文章中找到更多解释：https://aws.plainenglish.io/system-design-s3-events-to-lambda-vs-s3-events-to-sqs-sns-to-lambda-2d41477d1cc9

Answer 3

有几种方法。一种是设置s3 notifications to invoke a lambda function。然后 lambda 函数将使用 SSM Run Command 在您的实例上执行 AWS CLI S3 命令以从 S3 下载文件。