无法使用 Python 脚本和通配符将多个文件上传到 AWS S3

Question

我对使用 python 和 AWS 比较陌生。

我正在尝试通过 python 脚本将具有特定格式的各种文件“通常”从我的本地 pc 移动到 S3 AWS 文件夹。我在脚本中实现通配符以一次捕获各种文件时遇到问题。我可以使用字符串 "data = open('file_example_here.csv', 'rb')" 一次移动一个文件，尽管我一直在调整我的 python 脚本以捕获所有文件（即 .csv 或所有 .json文件）。下面详细介绍了一组示例文件，因此，如果我想在脚本中使用通配符将所有 .json 文件移动到我的 s3 实例，我该如何调整我的脚本以处理该问题（如果可能）？

任何帮助将不胜感激，下面分享实现。

/home/user/folder1/c_log_1-10-19.csv
/home/user/folder1/c_log_2-10-19.csv
/home/user/folder1/c_log_3-10-19.csv
/home/user/folder1/c_log_4-10-19.csv
/home/user/folder1/c_log_5-10-19.csv
/home/user/folder1/c_log_6-10-19.csv

/home/user/folder1/h_log_1-11-18.json
/home/user/folder1/h_log_2-11-18.json
/home/user/folder1/h_log_3-11-18.json
/home/user/folder1/h_log_4-11-18.json
/home/user/folder1/h_log_5-11-18.json
/home/user/folder1/h_log_6-11-18.json

import boto3
from botocore.client import Config

ACCESS_KEY_ID = 'key_id_here'
ACCESS_SECRET_KEY = 'secret_key_here'
BUCKET_NAME = 'bucket_name_here'

data = open('test_file.csv', 'rb')

s3 = boto3.resource(
    's3',
    aws_access_key_id=ACCESS_KEY_ID,
    aws_secret_access_key=ACCESS_SECRET_KEY,
    config=Config(signature_version='s3v4')
)
s3.Bucket(BUCKET_NAME).put_object(Key='folder_test/folder_test_2/test_file.csv', Body=data)

print ("All_Done")


````````````````````````````````````````````````````
################################################
############## UPDATED CODE BELOW ############
################################################
import glob
import boto3
from botocore.client import Config

ACCESS_KEY_ID = 'some_key'
ACCESS_SECRET_KEY = 'some_key'
BUCKET_NAME = 'some_bucket'

#session = boto3.Session(profile_name='default')
s3 = boto3.resource(
    's3',
    aws_access_key_id=ACCESS_KEY_ID,
    aws_secret_access_key=ACCESS_SECRET_KEY,
    config=Config(signature_version='s3v4')
)

csv_files = glob.glob("/home/user/Desktop/*.csv")
#json_files = glob.glob("/home/user/folder1/h_log_*.json")

for filename in csv_files:
    print("Putting %s" % filename)
    s3.upload_file(filename, BUCKET_NAME, filename)

#for filename in json_files:
#    print("Putting %s" % filename)
#    s3.upload_file(filename, BUCKET_NAME, filename)

s3.Bucket(BUCKET_NAME).put_object(Key='folder1/folder1', Body=csv_files)

print("All_Done")

Answer 1

您可以使用像 Python 的 glob 模块这样简单的东西来查找与指定模式匹配的所有文件，如下例所示：

#!/usr/bin/env python

import glob
import boto3
import os

BUCKET_NAME = 'MyBucket'
FOLDER_NAME = 'folder1/folder1'

session = boto3.Session(profile_name='default')
s3 = session.client('s3')

csv_files = glob.glob("/home/user/folder1/c_log_*.csv")
json_files = glob.glob("/home/user/folder1/h_log_*.json")

for filename in csv_files:
    key = "%s/%s" % (FOLDER_NAME, os.path.basename(filename))
    print("Putting %s as %s" % (filename,key))
    s3.upload_file(filename, BUCKET_NAME, key)

for filename in json_files:
    key = "%s/%s" % (FOLDER_NAME, os.path.basename(filename))
    print("Putting %s as %s" % (filename,key))
    s3.upload_file(filename, BUCKET_NAME, key)

print("All_Done")

以上代码假定您已安装 AWS CLI，并在默认配置文件下配置了访问密钥。如果没有，可以使用authenticating with boto3的各种方法。

可能有一种更 Pythonic 的方式可以做到这一点，但这个简单的脚本可以工作。

Answer 2

查看 glob 模块 (https://docs.python.org/3/library/glob.html)。

import glob
csv_files = glob.glob('/home/user/folder_1/*.csv')
json_files = glob.glob('/home/user/folder_1/*.json')

然后遍历这些列表并照常上传。

此外，无需从文件中读取数据。只需在存储桶上使用 upload_file 方法：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Bucket.upload_file