是否可以从 Google 云存储对象创建 TFRecordDataset？答案

【问题标题】：Is it possible to create a TFRecordDataset from Google Cloud Storage Objects?是否可以从 Google 云存储对象创建 TFRecordDataset？
【发布时间】：2018-08-16 02:47:52
【问题描述】：

我正在 Google Cloud Datalab 上的 Jupyter 笔记本中测试 Tensorflow 模型。该模型设置为使用TFRecord 文件中的TFRecordDataset 作为输入，我相信这是组织模型输入的推荐方式。我想知道是否有某种受支持的方法可以从Google Cloud Storage Objects 列表中创建此TFRecordDataset，google.datalab.storage API 提供这些列表作为访问 Google Cloud 存储桶上数据的一种方式。

编辑：我发现通过在 Storage Objects 上调用 .uri 并将这些 uri 传递给 TFRecordDataset 似乎可行，但我不确定这是否是推荐的方式。

【问题讨论】：

你能更好地解释一下你解释的可能性吗？除了 writing data into a TFRecords 文件以便转换和准备该数据之外，我找不到任何关于此的内容。

标签： python tensorflow google-cloud-platform google-cloud-storage google-cloud-datalab

【解决方案1】：

通常，此类任务将具有设置，其中 Google Cloud Storage 将数据（例如图像）存储在存储桶中，并且用户希望将输入转换为 tfrecord 格式以训练/微调模型（例如分类/检测）。对于这样的任务，您必须创建一个文件，其中包含有关图像路径和合适的其他信息（例如标签、bbox 等）的信息。创建该文件后，您可以遍历您的文件，并使用这些输入的 google 存储路径文件访问 GCS 数据以对其进行处理并将其保存为 tfrecord。以流行的格式（图像数据的 COCO/Pascal VOC）创建文件很有用，因为您可以使用不易出错且速度更快的预制转换脚本。例如：COCO to TFrecord conversion

【讨论】：

【解决方案2】：

您的问题有点不清楚，但这里是我如何将输入数据转换为 tfrecord 以将其输入到我的模型中。

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/how_tos/reading_data/convert_to_records.py

您可以在 Datalab 中从 google 存储中读取数据，并将它们转换为 tfrecord，然后将它们保存回 google 存储。

【讨论】：