强制 Tensorflow 的 Tokenizer 包含“下一行”字符

Question

我正在尝试使用 tensorflow 来模拟波斯诗歌。为此，我需要在我的标记中包含 '\n'。但是，当我使用tokenizer() 时，它不包括下一行。 tf.keras.preprocessing.text.Tokenizer 是否可以包含 '\n'？

data = open(link + "/hafez.txt").readlines()  # removing the first two lines
data = data[2:]
data = ''.join(data)
corpus = data.lower().split("\n")
for c in corpus: # including \n in the text
    c += '\n'
# update the vocab based on the list of texts ( corpus) returns a dictionary
# of Vocabulary
tokenizer.fit_on_texts(corpus)
print(tokenizer.word_index['\n'])

现在，我们看到 '\n' 不包括在内。

KeyError Traceback（最近调用 最后）在（） ----> 1 tokenizer.word_index['\n'] 键错误：'\n'

但是，我稍后需要这个，以便我的神经网络有望将生成的单词按'\n' 分割。

Answer 1

如果你从filters 参数中删除'\n'，我想你会得到你想要的。

示例：

import tensorflow as tf

corpus = "it was the best of times, it was the worst of times"
corpus = [c + '\n' for c in corpus.split()]

filters_ = '!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t'  # <= removed '\n'
my_tokenizer = tf.keras.preprocessing.text.Tokenizer(
    filters=filters_,
    char_level=True)

my_tokenizer.fit_on_text(corpus)
eol_idx = my_tokenizer.word_index['\n']

print(eol_idx)
#  1