在 s3 存储桶之间复制时过滤掉空文件

Question

我正在使用 python boto3 在跨账户 s3 存储桶之间复制 txt 文件。我正在将文件读取到熊猫数据框以进行一些清理。我注意到很多文件都是空的。有没有办法在复制之前过滤掉0B文件。

谢谢！

Answer 1

您可以创建存储桶中所有文件的列表并排除大小为 0 的文件。一种方法是 t0 使用以下内容：

1. 列出存储桶中的所有文件及其大小：

session  = Session(aws_access_key_id = ACCESS_KEY, aws_secret_access_key = SECRET_KEY)
s3       = session.resource('s3')
bucket   = s3.Bucket(bucket_name_string)
my_files = []
file_size = []
for s3_file in bucket.objects.all():
     my_files.append(s3_file.key)
     file_size.append(s3_file.size)

1. 使用此信息制作数据框

df = pd.DataFrame(
    {'file name': my_files,
     'file size': file_size
    })

这将返回类似：

                                           file name  file size
0                                            apc/daily/          0
1           apc/daily/2021/1/dagsrapport-2021-01-18.csv       1498
2           apc/daily/2021/1/dagsrapport-2021-01-19.csv       1498
3           apc/daily/2021/1/dagsrapport-2021-01-20.csv       1500
4           apc/daily/2021/1/dagsrapport-2021-01-21.csv       1498
...                                                 ...        ...
7829  apc/vehicles/2021/4/814/0814-2021-04-19T020101...         70
7830  apc/vehicles/2021/4/814/0814-2021-04-20T020131...       8741
7831  apc/vehicles/2021/4/814/0814-2021-04-21T020128...       8719
7832  apc/vehicles/2021/4/814/0814-2021-04-22T020127...       7337
7833  apc/vehicles/2021/4/814/0814-2021-04-23T020117...       9292

1. 选择您想要的尺寸：

df_non_empty = df[df['file size']>0]
List_non_empty = df_non_empty['file name'].to_list()

4. 使用此列表选择这些文件以在存储桶之间传输 och 副本。