【发布时间】:2016-11-21 16:51:31
【问题描述】:
我正在训练一个包含两个数据输入管道的深度网络,一个用于训练,一个用于验证。他们分别使用shuffle_batch_join 和batch_join 进行并行数据读取。网络中使用的数据流是在这两个管道之上使用tf.cond 操作决定的,该操作由is_training 占位符控制,该占位符在训练迭代中设置为true,在进行验证时设置为false。我有 4 个线程用于读取训练数据和 1 个线程用于验证。
但是,我刚刚将队列摘要添加到 tensorboard,并观察到验证队列的摘要(显示队列中已满的部分)在训练期间的某一时刻变为非零,然后又回落到 0。这似乎非常奇怪,因为验证只在 1K 次迭代后运行,并且这些数据点应该只在那时被删除。有没有人有类似的经历或者可以对可能发生的事情有所了解?
【问题讨论】: