Generative RNN：如何处理频繁字符？

Question

我想创建一个生成字符 LSTM 网络。这个想法是：模型采用最后 32 个现有字符并基于它们生成另一个字符。一次又一次。

这是模型，很简单：

model = Sequential([
    Input(shape=[32, 1]),
    LSTM(64, return_sequences=True),
    LSTM(64),
    Dense(len(corpus.keys()), activation='softmax', use_bias=False),
])

问题是：文本中字符的频率差异很大。频率最低的字母出现了 326 次，而最频繁的字母出现了 56190 次。看看条形图就知道了。

即使经过 200 个 epoch 的训练，模型所能预测的只是空间，因为它只是最频繁出现的字符。因此，损失在训练期间正在减少。

---

我已经尝试过更复杂和更简单的模型，结果总是一样。模型只记住频率。

编辑：这里是notebook

Answer 1

除了解决过拟合问题，您应该从输出概率中采样，而不是取最高概率（argmax）。有一个 Tensorflow tutorial 涵盖了这一点。

要从模型中获得实际预测，您需要从输出分布中采样，以获得实际的字符索引。此分布由字符词汇表上的 logits 定义。

注意：从该分布中采样很重要，因为获取分布的 argmax 很容易使模型陷入循环。

这大致是你如何做到的：

example_batch_predictions = model(X_test)

sampled_indices = tf.random.categorical(example_batch_predictions[0], 
                                        num_samples=1)
sampled_indices = tf.squeeze(sampled_indices,axis=-1).numpy()

array([41, 60,  3, 31, 47, 21, 61,  6, 56, 42, 39, 40, 52, 60, 37, 37, 27,
       11,  6, 56, 64, 62, 43, 42,  6, 34,  1, 30, 16, 45, 46, 11, 17,  8,
       26,  8,  1, 46, 37, 21, 37, 53, 34, 49,  5, 58, 11,  9, 42, 62, 14,
       56, 56, 30, 31, 32, 63, 53, 10, 23, 35,  5, 19, 19, 46,  3, 23, 63,
       61, 11, 57,  0, 35, 48, 32,  4, 37,  7, 48, 23, 39, 30, 20, 26,  1,
       52, 57, 23, 46, 56, 11, 22,  7, 47, 16, 27, 38, 51, 55, 28])

这将用于文本生成。为了更好的训练，我建议你在 LSTM 之前使用嵌入层：

model = Sequential([
    Input(shape=[32, 1]),
    Embedding(input_dim=len(corpus.keys()), output_dim=16),
    LSTM(64, return_sequences=True),
    LSTM(64),
    Dense(len(corpus.keys()), activation='softmax', use_bias=False),
])

如果您有字符序列，并且不是一个热编码词，这将起作用。

这是一个tutorial 我做基于字符的文本生成。也许它可以帮助你。