TF1.14][TPU]无法在使用 TPU 的 Colab 上使用自定义 TFrecord 数据集答案

【问题标题】：TF1.14][TPU]Can not use custom TFrecord dataset on Colab using TPUTF1.14][TPU]无法在使用 TPU 的 Colab 上使用自定义 TFrecord 数据集
【发布时间】：2019-09-19 10:31:02
【问题描述】：

我创建了一个包含元素及其相应标签的 TFRecord 数据集文件。我想用它在 Colab 上使用免费的 TPU 训练模型。我可以加载 TFRecord 文件，甚至可以运行迭代器来查看内容，但是，在纪元开始之前，它会引发以下错误-

UnimplementedError: From /job:worker/replica:0/task:0:
File system scheme '[local]' not implemented (file: '/content/gdrive/My Drive/data/encodeddata_inGZIP.tfrecord')
     [[{{node MultiDeviceIteratorGetNextFromShard}}]]
     [[RemoteCall]]
     [[IteratorGetNextAsOptional_1]]

据我了解，它需要 TPU 存储桶上的 TFRecord 文件，我不知道如何在 Colab 上执行此操作。如何直接在 Colab TPU 上使用 TFRecord 文件？

【问题讨论】：

标签： tensorflow google-colaboratory tpu google-cloud-tpu

【解决方案1】：

您需要将其托管在 Google Cloud Storage 上：

所有输入文件和模型目录必须使用云存储桶路径（gs://bucket-name/...），并且该桶必须可从 TPU 服务器访问。请注意，所有数据处理和模型检查点都是在 TPU 服务器上执行的，而不是本地机器上。

如 Google 故障排除页面所述：https://cloud.google.com/tpu/docs/troubleshooting#cannot_use_local_filesystem

希望这会有所帮助！

【讨论】：

是的，谢谢你的回答，我也在Github的Tensorflow上发过，开发者也是这么说的。这是link。