sklearn linear_kernel 使 cosine_similarities - 内存错误答案

【问题标题】：sklearn linear_kernel to make cosine_similarities - Memory Errorsklearn linear_kernel 使 cosine_similarities - 内存错误
【发布时间】：2020-02-01 20:41:32
【问题描述】：

由于数据量大，我正在尝试使用 sklearn TfidfVectorizer 查找余弦相似度，我不断收到内存错误

tf = TfidfVectorizer(analyzer='word', ngram_range=(1, 3),max_df=1.0, min_df=0, stop_words='english')
tfidf_matrix = tf.fit_transform(ds['description'])

> cosine_similarities = linear_kernel(tfidf_matrix, tfidf_matrix) <-- Memory Error

请帮我解决错误。非常感谢

【问题讨论】：

你知道什么是内存错误吗？

标签： machine-learning scikit-learn cosine-similarity tfidfvectorizer

【解决方案1】：

如果您收到意外的MemoryError，并且您认为应该有足够的 RAM 可用，这可能是因为您使用的是 32 位 python 安装。

如果您有 64 位操作系统，简单的解决方案是切换到 64 位安装的 python。

问题是 32 位 python 只能访问 ~4GB 的 RAM。如果您的操作系统是 32 位，由于操作系统开销，这可能会进一步缩小。

【讨论】：