使用 LSTM 单元训练 RNN 时的 RAM 内存使用情况

Question

我正在学习关于循环神经网络的教程，并且我正在训练一个 RNN 来学习如何在给定字母序列的情况下预测字母表中的下一个字母。问题是，在我训练网络的每个时期，我的 RAM 使用率都在缓慢上升。我无法完成对这个网络的训练，因为我“只有”8192MB 的 RAM 内存，并且在 +- 100 个 epoch 之后就耗尽了。 为什么会这样？我认为这与 LSTM 的工作方式有关，因为它们确实在内存中保留了一些信息，但如果有人可以向我解释更多细节，那就太好了。

我使用的代码比较简单，完全独立（您可以复制/粘贴并运行它，不需要外部数据集，因为数据集只是字母表）。因此，我将其全部包含在内，因此问题很容易重现。

我使用的 tensorflow 版本是 1.14。

import numpy as np
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import LSTM
from keras.utils import np_utils
from keras_preprocessing.sequence import pad_sequences
np.random.seed(7)

# define the raw dataset
alphabet = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"

# create mapping of characters to integers (0-25) and the reverse
char_to_int = dict((c, i) for i, c in enumerate(alphabet))
int_to_char = dict((i, c) for i, c in enumerate(alphabet))

num_inputs = 1000
max_len = 5
dataX = []
dataY = []
for i in range(num_inputs):
    start = np.random.randint(len(alphabet)-2)
    end = np.random.randint(start, min(start+max_len,len(alphabet)-1))
    sequence_in = alphabet[start:end+1]
    sequence_out = alphabet[end + 1]
    dataX.append([char_to_int[char] for char in sequence_in])
    dataY.append(char_to_int[sequence_out])
    print(sequence_in, "->" , sequence_out)

#Pad sequences with 0's, reshape X, then normalize data
X = pad_sequences(dataX, maxlen=max_len, dtype= "float32" )
X = np.reshape(X, (X.shape[0], max_len, 1))
X = X / float(len(alphabet))
print(X.shape)

#OHE the output variable.
y = np_utils.to_categorical(dataY)

#Create & fit the model
batch_size=1
model = Sequential()
model.add(LSTM(32, input_shape=(X.shape[1], 1)))
model.add(Dense(y.shape[1], activation= "softmax" ))
model.compile(loss= "categorical_crossentropy" , optimizer= "adam" , metrics=[ "accuracy" ])
model.fit(X, y, epochs=500, batch_size=batch_size, verbose=2)

Answer 1

问题在于您的序列相当长（1000 个连续输入）。由于 LSTM 单元确实在 epoch 上保持某种状态，并且您正试图训练它 500 个 epoch（这是很多），特别是当您在 CPU 上进行训练时，您的 RAM 会随着时间的推移而被淹没。我建议你尝试在 GPU 上进行训练，它有自己的专用内存。另请查看此问题：https://github.com/Element-Research/rnn/issues/5