【问题标题】:Preprocessing text data for keras LSTM为 keras LSTM 预处理文本数据
【发布时间】:2017-12-21 15:00:48
【问题描述】:

请参阅此处 keras 文档中给出的示例:https://github.com/fchollet/keras/blob/master/examples/imdb_bidirectional_lstm.py

我想使用我自己的数据集而不是 IMDB。在检查了默认数据集的格式后,我看到句子中的每个单词都被其词汇索引所替换,词汇索引按降序排列。

我正在查看https://keras.io/preprocessing/text/ 此处的 keras 文档,以寻找可以实现此目的的方法,但它们似乎都不适合我。

我一直在尝试

Tokenizer.fit_on_texts 和 Tokenizer.fit_on_sequences 方法。

适合文本返回 a

AttributeError: 'float' object has no attribute 'lower'

错误。

我的输入是pandas 一系列文本。

谁能指出我做错了什么?我查看了以下线程,但没有帮助

Keras - Text Classification - LSTM - How to input text?

谢谢!

【问题讨论】:

    标签: python keras


    【解决方案1】:

    发现错误,其中一个文本是NaN,导致 Tokenizer 崩溃。把这个留在这里,以防它帮助任何人:)

    【讨论】:

      猜你喜欢
      • 2020-03-09
      • 1970-01-01
      • 1970-01-01
      • 2021-07-24
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-11-21
      相关资源
      最近更新 更多