加载 fashion_mnist 数据需要太多时间答案

【问题标题】：loading fashion_mnist data takes too much time加载 fashion_mnist 数据需要太多时间
【发布时间】：2020-02-20 11:21:04
【问题描述】：

我在 Windows 10 上使用 python 3.6.6、tensorflow 1.11.0 和 keras 2.1.6 按照以下博客作为导入和加载数据的指南。

https://www.tensorflow.org/tutorials/keras/basic_classification

shell IDLE 打印过多的输出并无限期地继续。

我的代码中的这一行似乎是问题所在：

(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

以下是我的 shell IDLE 执行的几行输出：

1.11.0

Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-images-idx3-ubyte.gz

    8192/26421880 [..............................] - ETA: 0s
   16384/26421880 [..............................] - ETA: 2:05
  172032/26421880 [..............................] - ETA: 21s 
  450560/26421880 [..............................] - ETA: 11s
  933888/26421880 [>.............................] - ETA: 7s 
 1507328/26421880 [>.............................] - ETA: 5s
 2056192/26421880 [=>............................] - ETA: 4s
 2670592/26421880 [==>...........................] - ETA: 4s
 3358720/26421880 [==>...........................] - ETA: 3s
 3833856/26421880 [===>..........................] - ETA: 3s
 4259840/26421880 [===>..........................] - ETA: 3s
 4489216/26421880 [====>.........................] - ETA: 3s
 4931584/26421880 [====>.........................] - ETA: 3s
 4997120/26421880 [====>.........................] - ETA: 3s
 5005312/26421880 [====>.........................] - ETA: 3s
 5013504/26421880 [====>.........................] - ETA: 4s
 5021696/26421880 [====>.........................] - ETA: 4s
 5029888/26421880 [====>.........................] - ETA: 4s
 5038080/26421880 [====>.........................]

为什么shell不停止？感谢您的帮助。

【问题讨论】：

它正在下载数据，它只需要发生一次，你等了多长时间？
我等了 25-30 分钟。有没有办法阻止 shell IDLE 打印所有这些行？
更新：我让它运行了超过 3 小时 10 分钟。它没有完成下载。这里可能有问题。过去我使用 mnist 手写数字来训练网络，整个过程大约需要 10-12 分钟。这是我第一次使用 tensorflow :(
我只看到您的互联网连接可能很慢，它只有一个 26 MB 的文件。关于 shell 问题，这是一个 IDLE 问题，在终端中运行您的代码
谢谢马蒂亚斯。您的 cmets 非常有帮助。我在“python 命令行”中运行它，它运行得非常顺利（只用了 3 秒）。如果您做出答案，那么我选择它作为最佳答案。在过去的 3 天里，我尝试了不同的方法，例如安装 mnist_reader 包，但效果不佳。再次感谢。

标签： python tensorflow keras mnist

【解决方案1】：

我认为 IDLE 的 shell 速度不够快，可能会减慢文件下载速度，请尝试从终端运行相同的 python 代码，因为它会下载文件并且只需执行一次。

【讨论】：

【解决方案2】：

要执行 Matias Valdenegro 在 IDLE 外部加载的答案，您可以打开 Python 的命令行（或在 Windows 的命令行 上键入 python 并按 Enter）。
然后输入
import tensorflow as tf
按 Enter 并输入：
tf.keras.datasets.mnist.load_data()
按 Enter 键，等待，最后您就可以在 IDLE 上使用 mnist，而无需再次加载。

【讨论】：

【解决方案3】：

面临同样的问题并在 Window 机器上执行以下操作 -

通过键入 python 进入 Python (Shell) 命令行界面。然后在 Python shell 中运行下面提到的命令..

from keras.datasets import mnist
(train_images,train_labels), (test_images, test_labels) = mnist.load_data()

这只花了 61 秒（如果您的网速较高，这可能需要更少的时间......）一旦完成，您也可以从 IDLE 运行您的程序，然后它会运行得很快，至少赢了不要卡在下载数据集上……Matias Valdenegro 也提出了同样的建议……

【讨论】：