google ml-engine 云存储为文件答案

【问题标题】：google ml-engine cloud storage as a filegoogle ml-engine 云存储为文件
【发布时间】：2019-08-04 15:24:24
【问题描述】：

我正在使用 Google Cloud ML-Engine 使用 Python。我发现的文档表明数据存储应该使用 Buckets 和 Blob 来完成

https://cloud.google.com/ml-engine/docs/tensorflow/working-with-cloud-storage

但是，我的大部分代码及其调用的库都适用于文件。我可以在我的 ml 引擎代码中以某种方式将 Google Storage 视为文件系统吗？

我希望我的代码看起来像

with open(<something>) as f:
   for line in f:
      dosomething(line)

请注意，在 ml-engine one 中不会创建和配置 VM 实例。所以我不能用 Filestore 挂载我自己的共享文件系统。

【问题讨论】：

标签： python google-app-engine google-cloud-platform google-cloud-storage google-cloud-ml

【解决方案1】：

让云存储显示为文件系统的唯一方法是发送至mount a bucket as a file system：

您可以使用Google Cloud Storage FUSE 工具挂载云存储分区到您的 Compute Engine 实例。安装好的桶行为类似于 persistent disk，即使 Cloud Storage 桶是对象存储。

但是，如果您无法创建和配置虚拟机，您就无法做到这一点。

请注意，在 ml-engine one 中不会创建和配置 VM 实例。

这并不完全正确。我看到 ML Engine 支持building custom containers，这通常是安装和配置操作系统级依赖项的方式。但仅限于培训领域，因此如果您的需求在该领域，可能值得一试。

我假设您已经检查过该库不支持通过已经打开的类似文件的处理程序进行访问（如果不支持，那么您可能感兴趣的是 How to restore Tensorflow model from Google bucket without writing to filesystem?）

【讨论】：

谢谢丹。我已经尝试过类似 open("gs://bucketname/foo.bar") 的方法，并且包 google.cloud.storage 似乎没有 open() 方法。我很惊讶，因为我希望持久存储有一个类似文件的普通接口。我觉得我很想念它
您可以使用 TensorFlow FileIO 库打开 GCS 文件。请点击此链接：stackoverflow.com/questions/42799117/…
@user1902291 是一个实际的文件系统文件（python 的默认 open() 在其上工作）和通过除 python 的 open() 之外的某些调用获得的类似文件的处理程序是两个不同的东西......

【解决方案2】：

对于那些后来者，这就是答案

Google Cloud ML and GCS Bucket issues

from tensorflow.python.lib.io import file_io

这是一个例子

with file_io.FileIO("gc://bucket_name/foobar.txt","w") as f:
    f.write("FOO")
    f.flush()
    print("Write foobar.txt")

with file_io.FileIO("gc://bucket_name/foobar.txt","r") as f:
    for line in f:
        print("Read foobar.txt: "+line)

【讨论】：