在 AI Platform (CMLE) 上使用 tensorflow_dataset 库

Question

我正在为 mnist 数据集使用 tesorflow_datasets 库在 GCP AI 平台上进行训练。我正在使用 tf.gan 估计器。我编写了一个使用 tfds 库读取 mnist 数据的输入管道。

import tensorflow_datasets as tfds
ds = tfds.load('mnist', split=self.split, shuffle_files=self.shuffle)

我已经在实例上使用相同的“tensorflow_datasets”库训练了我的 gan 模型，并且模型训练良好。我已将代码打包到包中，以便在 AI Platform 上运行。在 AI Platform 上训练期间，训练卡住并显示警告，

Dataset mnist is hosted on GCS. It will automatically be downloaded to your local data
directory. If you'd instead prefer to read directly from our public GCS bucket.

虽然训练卡住了，但消耗的 ML 单位不断增加。

Answer 1

“tensorflow_datasets”库采用参数“data_dir”。如果您在 GCP 上使用此库，建议使用“data_dir”，它会在已上传 tensorflow 数据集的地方进行桶浴。

import tensorflow_datasets as tfds
ds = tfds.load('mnist', split=self.split,shuffle_files=self.shuffle, \
     data_dir='gs://tfds-data/datasets')

希望如此。您也可以检查此存储桶。它是一个包含数据集的公共存储桶。

gsutil ls gs://tfds-data/datasets/

你可以看到所有的数据集

gs://tfds-data/datasets/
gs://tfds-data/datasets/downloads/
gs://tfds-data/datasets/groove/
gs://tfds-data/datasets/mnist/
gs://tfds-data/datasets/nsynth/
gs://tfds-data/datasets/wikipedia/