【问题标题】:Google Cloud ML Engine can't locate local TFRecordsGoogle Cloud ML Engine 找不到本地 TFRecords
【发布时间】:2017-10-03 21:26:12
【问题描述】:

我正在尝试使用 Google Cloud ML Engine 为我的变分自动编码器模型优化超参数,但由于找不到我为输入指定的 .tfrecord 文件,该作业失败。在我的模型代码中,我将 train.tfrecords 传递给我的输入张量,就像在 canonical cifar10 example 中一样,并使用完整路径指定 train.tfrecords 的位置。

相关信息:

  • JOB_DIR 指向培训师目录
  • This image 显示我的目录结构
  • 我的 setup.py 文件如下:

    from setuptools import find_packages
    from setuptools import setup
    
    REQUIRED_PACKAGES = ['tensorflow==1.3.0', 'opencv-python']
    
    setup(
        name='trainer',
        version='0.1',
        install_requires=REQUIRED_PACKAGES,
        packages=find_packages(),
        include_package_data=True,
        description='My trainer application package.'
    )
    

【问题讨论】:

    标签: tensorflow google-cloud-platform google-cloud-ml-engine


    【解决方案1】:

    当作业执行时,它将无法从您的本地机器读取数据。使 TFRecord 文件可用于您的工作的最简单方法是将它们复制到 GCS,然后将 GCS 文件的位置作为标志传递给您的程序,并使用这些标志来配置您的读取器和写入器。

    【讨论】:

    • 谢谢!我会试试这个(目前正在将记录上传到 GCS)并让你知道它是如何进行的。此外,您知道在哪里可以找到使用标志的示例 task.py 文件吗?我看过这个例子,但它使用 argparse 而不是 tf.flags:github.com/GoogleCloudPlatform/cloudml-samples/blob/master/…
    • 我认为很多 TensorFlow 示例都使用 tf.flags,但我不确定是否有任何 CMLE 特定示例。
    猜你喜欢
    • 1970-01-01
    • 2019-05-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-09-05
    • 1970-01-01
    • 1970-01-01
    • 2019-08-05
    相关资源
    最近更新 更多