Tensorflow 1.10+：将纪元传递给估计器 input_fn？

Question

tf.estimatorinput_fn 的签名可能如下所示：

def input_fn(files:list, params:dict):
    dataset = tf.data.TFRecordDataset(files)
                .map(lambda record: parse_record_fn(record))

    if params['mode'] == 'train':
        # train specific things
    # ...

这样的定义允许一个人随后构造他们所有的input_fns，如下所示：

train_fn = lambda: input_fn(files['training_set'], {**params, **{"mode": "train"}})
valid_fn = lambda: input_fn(files['validation_set'], {**params, **{"mode": "eval"}})
test_fn  = lambda: input_fn(files['test_set'],  {**params, **{"mode": "test"}})


train_spec = tf.estimator.TrainSpec(input_fn=train_fn, ...)
eval_spec  = tf.estimator.EvalSpec(input_fn=valid_fn,  ...)  

我的问题是如何更改input_fn 签名以允许基于时代的变化。我知道这可能会带来瓶颈，但如果我能做这样的事情会很好：

def input_fn(...):
    # see above

    epoch = params["epoch"]
    if epoch % 100 == 0:
        # modify or make a new dataset

    # ...
    return dataset.make_one_shot_iterator().get_next()

关键是要确保input_fn 仍然兼容：

tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)

Answer 1

我不知道任何提供epoch 数字作为参数的选项。

也就是说，根据定义，一个时期是输入函数的一个特征，因此我们应该能够处理输入函数内部的所有内容，而不是访问训练参数。所以我认为你可以通过一点点摆弄来实现你所需要的。

例如，如果我有 2 个数据集：ds1 和 ds2，只要“纪元”数字不能被 100 整除，我就想使用 ds1，那么我可以通过执行以下操作创建一个新数据集：

dataset = ds1.repeat(99).concatenate(ds2)

由于默认情况下会延迟加载数据集，因此我无需担心内存影响（我不会将 100 倍的数据加载到内存中）。

显然，这确实对数据集的大小有影响，因此您需要考虑评估操作/回调等之间的步骤策略，但这应该很容易调整。