【问题标题】:Is it possible to get the contents of an S3 file without downloading it using boto3?是否可以在不使用 boto3 下载的情况下获取 S3 文件的内容?
【发布时间】:2016-08-11 20:12:15
【问题描述】:

我正在研究从Redshift 数据库转储文件的过程,并且不希望必须在本地下载文件来处理数据。我看到 Java 有一个 StreamingObject 类可以满足我的要求,但我在 boto3 中没有看到类似的东西。

【问题讨论】:

    标签: python amazon-s3 boto3


    【解决方案1】:

    如果您有一个 mybucket S3 存储桶,其中包含一个 beer 密钥,以下是如何下载和获取该值而不将其存储在本地文件中:

    import boto3
    s3 = boto3.resource('s3')
    print s3.Object('mybucket', 'beer').get()['Body'].read()
    

    【讨论】:

    • 很好的解决方案,但是 .如果文件大于我们的 RAM 大小,我们可以这样做吗? .(或者我可以在 s3 的 100gb 文件中搜索一个单词,我的系统有 1gb RAM 和 20gb HDD)
    • @yunus 为此,您需要使用流式 API。
    • 如果要使用客户端,也可以s3 = boto3.client('s3') print(s3.get_object(Bucket='mybucket', Key='beer')['Body'].read())
    【解决方案2】:

    这可能与您想要做的事情相关,也可能不相关,但就我的情况而言,使用 tempfile 是一件很有效的事情:

    import tempfile
    import boto3
        
    bucket_name = '[BUCKET_NAME]'
    key_name = '[OBJECT_KEY_NAME]'
    s3 = boto3.resource('s3')
    temp = tempfile.NamedTemporaryFile()
    s3.Bucket(bucket_name).download_file(key_name, temp.name)
    # do what you will with your file...
    temp.close()
    

    【讨论】:

    • 就我而言,我试图从 s3 下载一个 csv 文件并使用 csv 阅读器读取它。您的解决方案非常有效,谢谢。
    • 此解决方案下载文件,我相信原始答案试图避免这种情况。
    猜你喜欢
    • 2019-12-17
    • 2017-11-15
    • 1970-01-01
    • 2022-01-12
    • 1970-01-01
    • 2019-05-30
    • 1970-01-01
    • 2022-01-23
    • 1970-01-01
    相关资源
    最近更新 更多