通过 YouTube 数据 API 上传大视频时出现 Python MemoryError

Question

在尝试将大型视频文件上传到 YouTube 时获取 MemoryError。上传较小的文件时可以，但是当文件较大时，我会得到MemoryError。我猜这是因为代码试图将视频文件加载到 RAM。有什么方法可以上传视频而不将其加载到 RAM 中。

import os
from googleapiclient.http import MediaFileUpload
import google_auth_oauthlib.flow
import googleapiclient.discovery
import googleapiclient.errors

scopes = ["https://www.googleapis.com/auth/youtube.upload"]


def main():
    os.environ["OAUTHLIB_INSECURE_TRANSPORT"] = "0"

    client_secret_file = 'client_credentials.json'
    api_name = 'youtube'
    api_version = 'v3'

    flow = google_auth_oauthlib.flow.InstalledAppFlow.from_client_secrets_file(client_secret_file, scopes)
    credentials = flow.run_console()
    youtube = googleapiclient.discovery.build(api_name, api_version, credentials=credentials)

    request = youtube.videos().insert(
        part='snippet,status',
        body={
            'snippet': {
                'categoryId': "20",
                'title': 'test title',
                'tags': ['tag1', 'tag2']
            },
            'status': {
                'privacyStatus': 'private'
            }
        },
        media_body=MediaFileUpload(File Path)
    )

    response = request.execute()

    print(response)


if __name__ == '__main__':
    main()

Answer 1

您的MemoryError 异常的原因如下：您的输入视频文件gets loaded in memory 在被处理以发送到远程服务之前完整：

def createMethod(methodName, methodDesc, rootDesc, schema):
    ...
    def method(self, **kwargs):
        ...
        if media_filename:
            ...
            if media_upload.resumable():
                ...
            else:
                # A non-resumable upload
                if body is None:
                    ...
                else:
                    ...
                    payload = media_upload.getbytes(0, media_upload.size())
                    ...

我强烈建议不要一次性上传视频，而是通过久经考验的公共 Google 脚本 upload_video.py 使用 resumable uploads。 （这个脚本也有一个official documentation。要从脚本中获得一个不言自明的使用信息页面，只需使用命令行选项--help 发出它。）

---

如果您使用的是 Python 3（您的代码建议这样做），那么您必须将该脚本转换为 Python 3，因为它是为 Python 2 编写的。为此，请参阅修补upload_video.pyone answer of mine。