设置 s3 子目录路径并使用 boto 删除它的 Python 方法

Question

我有如下路径：

s3://edl-landing/lu/hello2/  

下面有两张表，如下图：

现在，每个表都有以下文件夹格式的parquet 数据：

现在，我想删除10th and 11th November 的数据。所以，下面是我使用boto 客户端的python 代码，但它不会从S3 中删除对象。我没有收到任何错误。另外，我尝试了this link 的各种解决方案，但它也没有从 S3 中删除实际数据。

prefix = "lu/hello2/"
s3 = boto3.resource('s3')
bucket = s3.Bucket(name="edl-landing")
FilesNotFound = True
blankList=[]
for obj in bucket.objects.filter(Prefix=prefix):
     #print(obj.key)
     blankList.append(obj.key.split('/')[2])
blankList = set(blankList) // 2 names
while ("" in blankList):
  blankList.remove("")
datesList = ['2020-11-10','2020-11-11']
for i in blankList:
  for j in datesList:
    path = "s3://edl-landing/lu/hello2/"+i+"/edl_load_ts="+j+"/"
    print(path)
    bucket.objects.filter(Prefix=path).delete()
    print("All the objects have been deleted for the mentioned dates...")

我哪里错了？我通过 EC2 实例运行它。

Answer 1

您将完整的 S3 URI 传递给 bucket.objects.filter(Prefix=path)。

此函数需要 S3 对象前缀，而不是 S3 URI。

您应该能够验证您的代码尝试删除零个对象，因为bucket.objects.filter(Prefix=path) 返回了零个对象。

传递相关前缀："lu/hello2/"+i+"/edl_load_ts="+j+"/"