Google Colab 花费太多时间来训练分类器。如何解决这个问题？

Question

我想在 google colab 中使用 Keras 训练分类器来分类图像是代表狗还是猫。有8000个训练样本和2000个测试样本。 1 个 epoch 所用的时间是 12 小时。我是 google colab 的新手，我不知道如何解决这个问题。我使用 GPU 作为硬件加速，我认为拥有 1xTesla K80 需要不到 5 分钟的时间，但时间太长了。

我尝试将运行时更改为 GPU 和 TPU，但两个运行时都无法正常工作。

这是我的代码：

classifier = Sequential()

classifier.add(Conv2D(32, (3, 3), input_shape = (64, 64, 3), activation = 
 'relu'))

classifier.add(MaxPooling2D(pool_size = (2, 2)))

classifier.add(Conv2D(32, (3, 3), activation = 'relu'))
classifier.add(MaxPooling2D(pool_size = (2, 2)))

classifier.add(Flatten())

classifier.add(Dense(units = 128, activation = 'relu'))
classifier.add(Dense(units = 1, activation = 'sigmoid'))

classifier.compile(optimizer = 'adam', loss = 'binary_crossentropy', 
metrics = ['accuracy'])

from keras.preprocessing.image import ImageDataGenerator

train_datagen = ImageDataGenerator(rescale = 1./255,
                               shear_range = 0.2,
                               zoom_range = 0.2,
                               horizontal_flip = True)

test_datagen = ImageDataGenerator(rescale = 1./255)

training_set = train_datagen.flow_from_directory('/content/gdrive/My 
Drive/Colab Notebooks/dataset/training_set',
target_size = (64, 64),
batch_size = 32,
class_mode = 'binary')

test_set = test_datagen.flow_from_directory('/content/gdrive/My 
Drive/Colab Notebooks/dataset/test_set',
 target_size = (64, 64),                                          
batch_size = 32,
class_mode = 'binary')

classifier.fit_generator(training_set,
                     steps_per_epoch = 8000,
                     epochs = 1,
                     validation_data = test_set,
                     validation_steps = 2000)

执行此代码时有许多弃用。执行 classifier.fit_generator() 后，显示 1 epoch 剩余 12 小时

Answer 1

检查以确保您有时使用 GPU，即使我将环境放到 GPU 上，它仍然不使用它。

#' ' means CPU whereas '/device:G:0' means GPU
import tensorflow as tf
tf.test.gpu_device_name()

如果这很好，那么我会重置您的运行时环境并重试。运行时间不应超过几分钟。我之前用 10000 多张照片完成了它，并且每个 epoch 都快速完成了 ~ 6 分钟。与 64,64 相比，我的图像要大得多，达到 224,224

我还发现使用 Kaggle 内核会更快一些，并且不会出现输入大小过大的问题。我不得不限制 Colab 对训练生成的输入，因为它会耗尽内存。 Kaggle 没有这个问题，它在图像中运行的速度要快得多。我认为这是因为当您将图像上传到数据集时，它们会对图像进行编码。他们必须从那里将它们转换为 numpy 数组，因为它运行得更快。

Answer 2

先在本地处理文件尝试运行

!cp '/content/gdrive/My Drive/Colab Notebooks/dataset/training_set' 'training_set'

然后：

training_set = train_datagen.flow_from_directory('training_set',
target_size = (64, 64),
batch_size = 32,
class_mode = 'binary')

test_set = test_datagen.flow_from_directory('test_set',
 target_size = (64, 64),                                          
batch_size = 32,
class_mode = 'binary')

如果应对是一个缓慢的过程，请将压缩文件上传到您的驱动器，将此压缩文件复制到您的 colab，然后解压缩。