全局步骤是什么意思？

Question

我最近完成了Cloud ML Criteo tutorial，“小型”数据集（约 40M 示例）上的分布式训练作业的最终日志消息之一是：

Saving dict for global step 7520: accuracy = 0.78864, ...

这里的“全局步骤”指的是什么？我原本以为是：

global step = (number of training examples * number of epochs) / batch size

但训练集大小为 40.8M，batch 大小为 30K，epoch 数为 5，所以这并不能得出正确答案：

(40.8M x 5) / 30K = 6800

Answer 1

我想我现在明白了。即使训练集大小是 40.8M 示例，代码中有一个 line 表示它是 45M 示例（我不知道为什么）。和

(45M x 5) / 30K = 7500

与日志信息基本匹配。