【问题标题】:Tensorflow queue runner - is it possible to queue a specific subset?Tensorflow 队列运行器 - 是否可以对特定子集进行排队?
【发布时间】:2017-01-29 19:05:14
【问题描述】:

在 tensorflow 中,我计划构建一些模型,并将其与其他基线模型在训练数据的不同子集方面进行比较。 IE。我想用相同的训练数据子集训练我的模型和基线模型。

queue-runner 和 TFreaders 以幼稚的方式实现(例如 im2txt),这需要为每个选择的子集复制数据,在我的情况下,这将需要使用非常大量的磁盘空间。

最好有办法告诉队列只从指定的 id 子集中获取样本,或者如果样本不属于给定的 id 子集,则忽略这些样本。

如果我理解正确,忽略样本并非易事,因为它需要将来自不同读取的样本拼接到一个批次中。

有人知道怎么做吗?或者可以建议一种不需要将所有训练数据预加载到 RAM 中的替代方法?

谢谢!

【问题讨论】:

    标签: machine-learning tensorflow computer-vision


    【解决方案1】:

    您可以将您的条件编码为tf.train.maybe_batchkeep_input 参数的一部分

    【讨论】:

      猜你喜欢
      • 2012-02-16
      • 1970-01-01
      • 1970-01-01
      • 2015-02-20
      • 1970-01-01
      • 2012-05-20
      • 2011-09-01
      • 2011-07-05
      • 1970-01-01
      相关资源
      最近更新 更多