在 Google Cloud ML 中写入文件答案

【问题标题】：Writing to a file in Google Cloud ML在 Google Cloud ML 中写入文件
【发布时间】：2019-10-15 04:47:16
【问题描述】：

在我的 Tensorflow Python 脚本中，我想写一些对于堆栈驱动程序日志来说过于冗长的调试信息，所以我只想写到我自己的文件中。如果我这样做：

f.write('my_file.txt', 'w+')

我没有收到任何错误，这意味着我有一些写权限。但是，我不知道如何找到这个文件。是在JOB_DIR 中吗？作业完成后如何写入可访问的文件？

【问题讨论】：

标签： python google-cloud-platform google-cloud-ml

【解决方案1】：

使用 TensorFlow API 将文件直接写入 Google Cloud Storage：

with tf.gfile.GFile("gs://bucket/some/dir/somefile", "w") as f:
        f.write(result_str)

【讨论】：

【解决方案2】：

文件被写入运行代码的虚拟机的本地存储。如果您想在作业完成后访问该文件，您需要将其复制到脚本末尾的 GCS 存储桶中。您可以使用 python 谷歌云存储客户端 api 这样做：

from google.cloud import storage
client = storage.Client()
bucket = client.bucket(BUCKETNAME)

blob = bucket.blob(BLOBNAME)
blob.upload_from_file('my_file.txt')

如果您使用的是 TensorFlow，请知道某些 TF io 实用程序可以处理 gs:// blob 位置，就好像它们是文件路径一样。例如，tf.kerasTensorboard 回调允许您将 Tensorboard 日志文件直接流式传输到 GCS 存储桶，而不必将它们存储在本地并随后手动上传：

from tensorflow.keras.callbacks import TensorBoard

# Define a callback that will store tensorboard log files in a GCS bucket
callbacks = [TensorBoard(log_dir='gs://BUCKET/BLOB')]
model.fit(..., callbacks=callbacks)

【讨论】：

我需要为此做任何配置吗？一旦我尝试创建客户端，我的工作就会失败。