创建 1578627 的 numpy 数组时出现内存错误答案

【问题标题】：Getting memory error while creating an numpy array of 1578627创建 1578627 的 numpy 数组时出现内存错误
【发布时间】：2018-04-09 10:59:14
【问题描述】：

# Problem on this line
train_x = tokenizer.sequences_to_matrix(allWordIndices, mode='binary')

这个tokenizer.sequences_to_matrix创建一个1578627的矩阵并抛出一个内存错误我应该怎么做有没有办法分批做到这一点tokenizer.sequences_to_matrix

【问题讨论】：

【解决方案1】：

在您包含的链接中，将 num 个单词设置为一个 miximum。应用一个小的最大值来克服你的记忆问题。

max_words=100000
tokenizer = Tokenizer(num_words=max_words)
...

【讨论】：

【解决方案2】：

添加到@loannis 答案，您可以先安装标记器，然后再做

max_words=100000
tokenizer = Tokenizer()
tokenizer.num_words=max_words

这可以帮助您决定哪些可以放入记忆，哪些不能放入记忆中。

【讨论】：