在 Cloud Run 实例中访问和使用 Cloud Storage 中的 csv 文件

Question

我知道如何从云运行实例中的云存储下载文件。但是，我找不到在 python 中读取文件的语法。我希望通过使用pd.read_csv('testing.csv') 立即将 csv 文件转换为 pandas 数据帧。所以我的个人代码看起来像， download_blob(bucket_name, source_blob_name, 'testing.csv')。那么我不应该能够在云运行实例中执行pd.read_csv('testing.csv') 吗？这样做时，我在加载页面时不断获得内部服务器。这似乎是一个简单的问题，但我无法在任何地方找到它的示例。一切都只是下载文件，我从来没有看到它被使用过。

def download_blob(bucket_name, source_blob_name, destination_file_name):
    """Downloads a blob from the bucket."""
    # The ID of your GCS bucket
    # bucket_name = "your-bucket-name"

    # The ID of your GCS object
    # source_blob_name = "storage-object-name"

    # The path to which the file should be downloaded
    # destination_file_name = "local/path/to/file"

    storage_client = storage.Client()

    bucket = storage_client.bucket(bucket_name)

    # Construct a client side representation of a blob.
    # Note `Bucket.blob` differs from `Bucket.get_blob` as it doesn't retrieve
    # any content from Google Cloud Storage. As we don't need additional data,
    # using `Bucket.blob` is preferred here.
    blob = bucket.blob(source_blob_name)
    blob.download_to_filename(destination_file_name)

    print(
        "Downloaded storage object {} from bucket {} to local file {}.".format(
            source_blob_name, bucket_name, destination_file_name
        )
    )

Answer 1

使用 'testing.csv' 等文件名表示将文件写入当前目录。当前目录是什么？而是指定一个已知目录位置的绝对路径。

下载到/tmp/目录，例如'/tmp/testing.csv'。使用文件系统空间会消耗内存，因为文件系统是基于 RAM 的。确保 Cloud Run 实例有足够的内存。

Excerpt from Cloud Run Container Runtime Contact:

你的容器的文件系统是可写的，并且受制于以下行为：

• 这是一个内存文件系统，因此写入它会使用容器实例的内存。
• 当容器实例停止时，写入文件系统的数据不会保留。

Reference: Filesystem access

Answer 2

download_as_bytes 是您要查找的函数，如果您想将其直接加载到内存中。

storage_client = storage.Client()
bucket = storage_client.bucket(bucket_name)
blob = bucket.blob(source_blob_name)
data = blob.download_as_bytes()
pd.read_csv(StringIO(data))

https://googleapis.dev/python/storage/latest/blobs.html#google.cloud.storage.blob.Blob.download_as_bytes

Pandas 还支持直接从 Google Cloud Storage 读取。 https://pandas.pydata.org/docs/reference/api/pandas.read_csv.html

任何有效的字符串路径都是可接受的。该字符串可以是一个 URL。有效的 URL 方案包括 http、ftp、s3、gs 和文件。

类似“gs://bucket/file”