【问题标题】:fetch the latest file in a folder and upload to s3?获取文件夹中的最新文件并上传到 s3?
【发布时间】:2019-09-14 14:22:54
【问题描述】:

filename 变量用于获取最新文件的名称 我的目标是监控一个文件夹,每当检索到新文件时,使用 boto3 自动将其上传到 s3 存储桶。

import time
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
from subprocess 
import call
import os
import boto3

会话 = boto3.Session(aws_access_key_id='aws_access_key_id', aws_secret_access_key='aws_secret_access_key', region_name='region_name')

s3 = session.client('s3')

class Watcher:
    def __init__(self):
        self.dir = os.path.abspath('D:\\project')
        self.observer = Observer()

    def run(self):
        event_handler = Handler()
        self.observer.schedule(event_handler, self.dir, recursive=True)
        self.observer.start()
        try:
            while True:
                time.sleep(5)
        except:
            self.observer.stop()
            print("Error")

        self.observer.join()   

    class Handler(FileSystemEventHandler):
        @staticmethod
        def on_any_event(event):
            if event.is_directory:
                return None

        elif event.event_type == 'created':
        print("Received created event - %s." % event.src_path)
        s3.upload_file(Filename=event.src_path, bucket='bucketname, key=test-file-1)

if __name__ == '__main__':
    w = Watcher()
    w.run()

FileNotFoundError: [WinError 2] 系统找不到指定的文件

【问题讨论】:

  • s3.meta.client.upload_file(Filename, Bucket = 'aaaaa', Key='test-file-1') 本身应该可以工作。那条线会引发某种错误吗? call([command], shell=True) 没有任何意义,应该删除,看起来你严重误解了一些东西。
  • 我错过了将最新文件存储在变量中的一行。

标签: python amazon-s3 boto3


【解决方案1】:

正如@alexhall 在评论中提到的, s3.meta.client.upload_file 方法将上传一个文件。您可以在此处阅读有关 boto3 s3 客户端的上传方法文档:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Client.upload_file。然而,这是一个有点傻的例子,因为他们首先创建一个 s3 资源而不是 s3 客户端,然后因为 s3 资源实际上没有上传文件的方法,所以他们恢复为 s3 客户端。还不如直接创建和使用s3客户端上传。

您还依赖于 boto3 在创建 s3 资源时使用默认会话这一事实:

boto3.resource('s3')

如果您在 lambda 上运行代码,或者您在配置了 IAM 角色以访问 s3 的 ec2 实例中,这将正常工作,但我认为您是在 AWS 外部运行此代码,在这种情况下,您可以首先使用您的凭据创建一个 boto3.Session(),然后客户端(或资源)可以使用该会话。

aws_access_key_id = '<AWS_ACCESS_KEY_ID>'
aws_secret_access_key = '<AWS_SECRET_ACCESS_KEY>'
region_name = 'us-east-1'

session = boto3.Session(aws_access_key_id=aws_access_key_id,
                                aws_secret_access_key=aws_secret_access_key,
                                region_name=region_name)

s3 = session.client('s3')

您可以在此处阅读有关会话配置的信息:https://boto3.amazonaws.com/v1/documentation/api/latest/guide/configuration.html

如上所述,由于您正在尝试上传文件,并且您似乎没有对它做任何其他事情,您还不如直接创建一个 s3 客户端而不是像您一样创建 s3 资源,然后使用 s3 客户端'meta.client'。

而不是command = ... 行,您只需使用:

s3.upload_file(Filename, Bucket = 'aaaaa', Key='test-file-1')

您可以删除最后一行。如果您运行的是操作系统/系统命令而不是 python 中的某个东西,您会“调用”。

【讨论】:

    【解决方案2】:

    不确定您是否这样做是为了学习 python (boto3)。如果是这样,恭喜。 如果没有,AWS 已经提供了这样的feature。因此,您将所有内容都保留在代码中,但需要使用 AWS CLI。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-02-22
      • 2012-06-14
      • 1970-01-01
      • 2013-11-28
      • 2011-12-12
      • 2011-12-20
      相关资源
      最近更新 更多