为什么每一步的时间随着时代数的增加而不断减少？

Question

在训练深度学习模型时，随着 epoch 数量的增加，完成一个步骤所需的时间不断减少。在数据相同的情况下，是什么提高了效率？

为什么在第一个纪元中，它与其他纪元相比非常大？任何相同的答案或参考都将是可观的。

这是我的训练模型截图：

您可以看到时间/步在减少为 3s/步、810ms/步、722ms/步等..

Answer 1

部分答案：

由于各种初始化开销，第一个 epoch 较慢：您的整个模型初始化为选定的值或分布，模型层被实例化等。

由于各种原因，后期时代可能会加速。在我所做的工作中，最常见的是各种算法分析器正在学习模型的数据+流控制，并正在调整流以获得更好的性能。

这可能涉及输入摄取（缓存）、操作短路、切换到稀疏矩阵计算，因为内核权重“摇出”以具有大多数 oof 0.0 元素等。

但是，如果没有合适的例子来准确再现效果，也没有尝试分析执行，这些想法只是猜测。

Answer 2

这是非常具体的，不能一概而论。所用时间是一个可变组件，取决于各种外部因素以及运行过程中的内存可用性、输入大小等。