在云与本地培训上获得更差的结果答案

【问题标题】：Getting worse results on gcloud vs local training在云与本地培训上获得更差的结果
【发布时间】：2018-12-10 04:32:00
【问题描述】：

我试图了解为什么我的本地结果比 gcloud 的结果更好。

在本地，我运行这样的工作：

gcloud ml-engine local train --module-name trainer.task --package-path trainer -- --vocabulary-file trainer/data/vocab.txt --class-files $CLASS_FILES --job-dir trainer/lr0001 --num-epochs 5000 --learning-rate 0.0001 --train-batch-size 4 --eval-batch-size 64 --export-format CSV

对于 gcloud 我运行

gcloud ml-engine jobs submit training $JOBNAME --job-dir gs://.../lr0001 --module-name trainer.task --package-path trainer --region us-west1 --runtime-version 1.10 -- --vocabulary-file gs://.../vocab.txt --class-files $GS_CLASS_FILES --num-epochs 5000 --learning-rate 0.0001 --train-batch-size 4 --eval-batch-size 64 --export-format CSV

我已经修复了种子，运行了多次，检查了 python 2 和 python 3，但 gcloud 结果仍然比我本地运行的差。

我发现的最后一点线索是本地日志如下所示：

INFO:tensorflow:loss = 0.63639945, step = 401 (0.170 sec)
INFO:tensorflow:global_step/sec: 485.821
INFO:tensorflow:loss = 0.61793035, step = 501 (0.206 sec)
INFO:tensorflow:global_step/sec: 490.795
INFO:tensorflow:loss = 0.5869169, step = 601 (0.204 sec)
INFO:tensorflow:global_step/sec: 619.825
INFO:tensorflow:loss = 0.5738391, step = 701 (0.161 sec)
INFO:tensorflow:global_step/sec: 605.698
INFO:tensorflow:loss = 0.51589084, step = 801 (0.165 sec)

而 gcloud 日志看起来像是在翻倍或什么的

I  master-replica-0 loss = 0.40115586, step = 2202 (0.367 sec) master-replica-0 
I  master-replica-0 global_step/sec: 555.434 master-replica-0 
I  master-replica-0 global_step/sec: 498.601 master-replica-0 
I  master-replica-0 loss = 0.4367655, step = 2402 (0.470 sec) master-replica-0 
I  master-replica-0 global_step/sec: 366.906 master-replica-0 
I  master-replica-0 global_step/sec: 408.556 master-replica-0 
I  master-replica-0 loss = 0.41198668, step = 2602 (0.492 sec) master-replica-0 
I  master-replica-0 global_step/sec: 388.73 master-replica-0 
I  master-replica-0 global_step/sec: 380.982 master-replica-0 
I  master-replica-0 loss = 0.35386887, step = 2802 (0.522 sec) master-replica-0 
I  master-replica-0 global_step/sec: 401.002 master-replica-0 
I  master-replica-0 global_step/sec: 465.647 master-replica-0 
I  master-replica-0 loss = 0.4420835, step = 3002 (0.417 sec) master-replica-0

任何指针将不胜感激！

到目前为止，我在互联网上发现的唯一问题是这些没有答案的 SO 问题：

Results of training a Keras model different on Google Cloud

Differents outputs from predictions using Tensorflow from same data?

【问题讨论】：

标签： tensorflow keras gcloud google-cloud-ml

【解决方案1】：

根据日志，我猜正在发生的事情是云上的 gcloud 正在获取检查点并恢复训练（请参阅步骤数）。你能做以下测试吗：从头开始运行本地并确保不存在输出模型文件夹，然后在云上重复相同的设置并进行比较。

【讨论】：

不幸的是，这不是问题所在。我只是从本地和云日志中随机挑选了几行。我想表明云日志中每 loss 行的 global_step/sec 行数是 loss 行数的 2 倍，这表明云中正在发生一些奇怪的事情（运行两次？）。

【解决方案2】：

经过一番挖掘，我相信这是由于 Keras 和 tensorflow 1.10（当前 gcloud 版本）中的 Estimator API 之间的一些错误交互，但不是 >=1.11（我在本地使用的）。

我在这里提交了一个错误报告：https://github.com/tensorflow/tensorflow/issues/24299

【讨论】：