Google Cloud SDK Python 客户端：如何列出 Cloud Storage 存储桶中的文件？

Question

尝试使用 Python 获取并遍历我拥有的 Cloud Storage 存储桶内的所有文件。我正在使用官方图书馆，google-cloud-storage。

使用gsutil，我可以运行gsutil ls gs://my-composer-bucket/dags/composer_utils/ 之类的命令。 google-cloud-storage 库是否提供与 gsutil ls 等效的方法？我想使用 Python 客户端而不是 shell 到 gsutil（不想在 Docker 映像中安装和验证 GCloud SDK）。

我尝试了一些不同的方法，但让我对 blob 的工作原理感到困惑：

>>> dag_folder_blob = cloud_composer_bucket.blob(bucket, 'dags/')
>>> dag_folder_blob.exists()
True
>>> util_folder_blob = cloud_composer_bucket.blob(bucket, 'dags/composer_utils/')  # directory exists
>>> util_folder_blob.exists()
False
>>> util_file_blob = cloud_composer-bucket.blob(bucket, 'dags/composer_utils/__init__.py')
>>> util_file_blob.exists()
True

Answer 1

您将需要使用 Bucket 对象的 list_blobs 方法。阅读有关listing objects in Cloud Storage 的更多信息。

Answer 2

# replicating command: gsutil ls gs://<bucketName>/<prefix>

from google.cloud import storage
bucket = storage.Client(<proj>).bucket(<bucketName>)
for key in bucket.list_blobs(prefix=<prefix>):
    print key