【问题标题】:Azure Function (Python) w/ Storage Upload Trigger Fails with Large File Uploads带有存储上传触发器的 Azure 函数 (Python) 因大文件上传而失败
【发布时间】:2020-09-11 14:28:43
【问题描述】:

从文件上传到 Azure 存储触发的 Azure 函数 (Python)。该功能适用​​于最大 ~120MB 的文件。我刚刚使用 2GB 文件进行了负载测试,该函数产生了错误Stream was too long.

  • 此限制记录在哪里?
  • 如何使用 Python 克服它?

使用 boto3 库将文件 PUT 到 AWS S3

def main(myblob: func.InputStream):
        logging.info(f"Python blob trigger function processed blob \n"
                                 f"Name: {myblob.name}\n"
                                 f"Blob Size: {myblob.length} bytes")

        myblobBytes = myblob.read()

        fileName = pathlib.Path(myblob.name).name

        s3 = boto3.resource(
                's3',
                aws_access_key_id="youguessedit",
                aws_secret_access_key="noyoudidnt",
        )

        response=s3.Bucket(bucketName).put_object(Key="folder/" + fileName, 
        Body=myblobBytes, ContentMD5=md5Checksum)
        
        response.wait_until_exists()

【问题讨论】:

  • 您在 Azure 函数中使用什么库/sdk?根据this answer 的说法,某些函数对于将大文件传输到 Azure Blob 中效率不高
  • Azure Python SDK。我看到那个帖子了。看起来它专注于 .NET。
  • 是的,但是您的代码是什么样的?概念大概是一样的
  • 使用boto3。用示例更新了 OP。

标签: python azure-functions azure-blob-storage


【解决方案1】:

将boto3 从put_object 更改为upload_fileobj 并将TransferConfig 设置为multipart_threshold=1024*25, max_concurrency=10, multipart_chunksize=1024*25, use_threads=True。

现在撕!

能够在 89 秒内传输 2GB!还不错。

【讨论】:

    猜你喜欢
    • 2021-01-09
    • 2014-11-17
    • 1970-01-01
    • 1970-01-01
    • 2015-06-16
    • 2019-10-20
    • 2015-12-13
    • 2017-08-21
    • 2013-02-22
    相关资源
    最近更新 更多