Google Cloud ML 和 GCS 存储桶问题

Question

我正在使用研究论文的开源 Tensorflow 实现，例如 DCGAN-tensorflow。我使用的大多数库都配置为在本地训练模型，但我想使用 Google Cloud ML 来训练模型，因为我的笔记本电脑上没有 GPU。我发现很难更改代码以支持 GCS 存储桶。目前，我正在将日志和模型保存到 /tmp，然后在训练结束时运行“gsutil”命令将目录复制到 gs://my-bucket (example here)。如果我尝试将模型直接保存到 gs://my-bucket 它永远不会出现。

至于训练数据，其中一个 tensorflow 样本将数据从 GCS 复制到 /tmp 进行训练 (example here)，但这仅适用于数据集较小的情况。我想使用 celebA，每次运行都复制到 /tmp 太大。是否有任何文档或指南说明如何更新在本地训练以使用 Google Cloud ML 的代码？

这些实现运行着不同版本的 Tensorflow，主要是 .11 和 .12

Answer 1

目前没有明确的指南。基本思想是用file_io 模块中的等效项替换所有出现的本机 Python 文件操作，最值得注意的是：

• open() -> file_io.FileIO()
• os.path.exists() -> file_io.file_exists()
• glob.glob() -> file_io.get_matching_files()

这些函数将在本地和 GCS（以及任何已注册的文件系统）上运行。但是请注意，file_io 和标准文件操作存在一些细微差别（例如，支持一组不同的“模式”）。

幸运的是，检查点和摘要编写确实可以开箱即用，只需确保将 GCS 路径传递给 tf.train.Saver.save 和 tf.summary.FileWriter。

在您发送的样本中，这看起来可能很痛苦。当程序开始只需要执行一次时，考虑猴子修补 Python 函数以映射到 TensorFlow 等效项（已证明 here）。

附带说明，this 页面上的所有示例都显示从 GCS 读取文件。