【问题标题】:how to check if a particular directory exists in S3 bucket using python and boto3如何使用 python 和 boto3 检查 S3 存储桶中是否存在特定目录
【发布时间】:2021-11-19 15:35:10
【问题描述】:

如何检查特定文件是否存在于我的 S3 的特定目录中?我使用 Boto3 并尝试了此代码(不起作用):

import boto3

s3 = boto3.resource('s3')
bucket = s3.Bucket('my-bucket')
key = 'dootdoot.jpg'
objs = list(bucket.objects.filter(Prefix=key))
if len(objs) > 0 and objs[0].key == key:
    print("Exists!")
else:
    print("Doesn't exist")

【问题讨论】:

    标签: python-3.x amazon-s3 boto3


    【解决方案1】:

    在检查 S3 文件夹时,有两种情况:

    场景 1

    import boto3
    
    def folder_exists_and_not_empty(bucket:str, path:str) -> bool:
        '''
        Folder should exists. 
        Folder should not be empty.
        '''
        s3 = boto3.client('s3')
        if not path.endswith('/'):
            path = path+'/' 
        resp = s3.list_objects(Bucket=bucket, Prefix=path, Delimiter='/',MaxKeys=1)
        return 'Contents' in resp
    
    • 以上代码使用MaxKeys=1。这样效率更高。即使该文件夹包含大量文件,它也会快速回复其中一个内容。
    • 观察它检查Contents作为响应

    场景 2

    import boto3
    
    def folder_exists(bucket:str, path:str) -> bool:
        '''
        Folder should exists. 
        Folder could be empty.
        '''
        s3 = boto3.client('s3')
        path = path.rstrip('/') 
        resp = s3.list_objects(Bucket=bucket, Prefix=path, Delimiter='/',MaxKeys=1)
        return 'CommonPrefixes' in resp
    
    • 观察它从路径中剥离最后一个/。此前缀将仅检查该文件夹,而不检查该文件夹。
    • 观察它检查CommonPrefixes作为响应而不是Contents

    【讨论】:

    • @AshuGG 我错误地拒绝了您的编辑请求。你的更正是对的。我试图再次接受该编辑,但没有这样的选项。感谢您的输入
    • 检查给定文件是否存在或检查目录是否不为空,这不是一回事
    【解决方案2】:
    import boto3
    import botocore
    
    client = boto3.client('s3')
    def checkPath(file_path):
      result = client.list_objects(Bucket="Bucket", Prefix=file_path )
      exists=False
      if 'Contents' in result:
          exists=True
      return exists
    

    如果提供的 file_path 存在,那么它将返回 True。 示例:'s3://bucket/dir1/dir2/dir3/file.txt' 文件路径:“dir1/dir2”或“dir1/” 注意:- 文件路径应该从存储桶名称之后的第一个目录开始。

    【讨论】:

      【解决方案3】:

      基本上一个目录/文件是 S3 是一个对象。我为此 (IsObjectExists) 创建了一个返回 True 或 False 的方法。如果目录/文件不存在,它将不会进入循环,因此该方法返回False,否则它将返回True。

      import boto3
      s3 = boto3.resource('s3')
      bucket = s3.Bucket('<givebucketnamehere>')
      
      def IsObjectExists(path):
          for object_summary in bucket.objects.filter(Prefix=path):
              return True
          return False
      
      if(IsObjectExists("<giveobjectnamehere>")):
         print("Directory/File exists")
      else:
         print("Directory/File doesn't exists")
      

      请注意,如果您正在检查文件夹,请确保以 / 结束字符串。一个用例是,当您尝试检查名为 Hello 的文件夹时,如果该文件夹不存在,而是有一个名为 Hello_World 的文件夹。在这种情况下,方法将返回True。在这种情况下,您必须在编码时将/ 字符添加到文件夹名称的末尾。您可以在下面的示例中看到这是如何处理的

      foldername = "Hello/"
      if(IsObjectExists(foldername))
          print("Directory/File exists")
      

      【讨论】:

        【解决方案4】:
        import boto3
        import botocore
        
        client = boto3.client('s3')
        
        result= client.list_objects_v2(Bucket='athenards', Prefix = 'cxdata')
        
        
        for obj in result['Contents']:
            if obj['Key'] == 'cxdata/':
                print("true")
        

        【讨论】:

          【解决方案5】:

          请尝试以下代码

          获取子目录信息文件夹¶

          folders = bucket.list("","/")
          for folder in folders:
              print (folder.name)
          

          PS参考网址(How to use python script to copy files from one bucket to another bucket at the Amazon S3 with boto)

          【讨论】:

          • 谢谢@Willie Cheng​​span>
          • 在boto3中获取“文件夹”列表的方法是objects = s3.list_objects_v2(Bucket=BUCKET_NAME, Delimiter='/', Prefix='')
          • @Vinayak 了解更多详情,请查看我的参考资料URL
          • 我看到了。它适用于 boto 而不是 boto3。由于这个问题是关于 boto3 的,我之前的评论似乎是让它工作的方法。
          【解决方案6】:

          以下代码应该可以工作...

          import boto3
          import botocore
          
          def does_exist(bucket_name, folder_name):
              s3 = boto3.resource(
                  service_name='s3',
                  region_name='us-east-2',
                  aws_access_key_id='********************',
                  aws_secret_access_key='********************'
              )
              objects = s3.meta.client.list_objects_v2(Bucket=bucket_name, Delimiter='/', Prefix='')
              # print(objects)
              folders = objects['CommonPrefixes']
          
              folders_in_bucket = []
              for f in folders:
                  print(f['Prefix'])
                  folders_in_bucket.append(f['Prefix'])
              return folder_name in folders_in_bucket
          
          print("does it exist?", does_exist('images-bucket','ddd/'))
          
          

          正如@Vinayak 在 2020 年 3 月的答案评论之一中提到的那样......

          在boto3中获取“文件夹”列表的方法是objects = s3.list_objects_v2(Bucket=BUCKET_NAME, Delimiter='/', Prefix='')

          在 2021 年 8 月使用最新版本的 boto3 和 botocore(分别为“1.18.27”和“1.21.27”)运行此程序时,出现以下错误:

          AttributeError: 's3.ServiceResource' object has no attribute 'list_objects_v2'

          发生这种情况是因为您使用的是 s3 = s3.resource("mybucketname", credential-params) 并且 s3.ServiceResource 将没有 s3.list_objects_v2() 方法。相反,ServiceResource 具有一个元属性,该属性将进一步具有客户端类型对象,您可以从中将客户端对象的方法应用于 ServiceResource 对象。像这样 - s3.meta.client.list_objects_v2()

          希望有帮助!

          【讨论】:

            猜你喜欢
            • 2016-02-23
            • 1970-01-01
            • 2015-07-27
            • 1970-01-01
            • 2021-11-25
            • 2013-09-06
            • 2020-11-06
            • 2020-06-30
            • 1970-01-01
            相关资源
            最近更新 更多