【发布时间】:2017-01-29 19:05:14
【问题描述】:
在 tensorflow 中,我计划构建一些模型,并将其与其他基线模型在训练数据的不同子集方面进行比较。 IE。我想用相同的训练数据子集训练我的模型和基线模型。
queue-runner 和 TFreaders 以幼稚的方式实现(例如 im2txt),这需要为每个选择的子集复制数据,在我的情况下,这将需要使用非常大量的磁盘空间。
最好有办法告诉队列只从指定的 id 子集中获取样本,或者如果样本不属于给定的 id 子集,则忽略这些样本。
如果我理解正确,忽略样本并非易事,因为它需要将来自不同读取的样本拼接到一个批次中。
有人知道怎么做吗?或者可以建议一种不需要将所有训练数据预加载到 RAM 中的替代方法?
谢谢!
【问题讨论】:
标签: machine-learning tensorflow computer-vision