用于多个文本文档的 mllib 和 pyspark 词袋模型

Question

我有 150 个文本文档（训练集），我想使用 pyspark 和 mllib 包“功能”对其执行“词袋”表示。从这里开始，我还有另外 150 个文本文档（测试集），我还想将它们转换为一个词袋，目的是将这个测试集的每个元素映射到具有最高余弦相似度的训练集文档。为了做到这一点，我将为权重实施 TF-IDF：这需要每个文档的词频以及我想要匹配的组合训练集。

我正在使用本指南：

https://spark.apache.org/docs/1.3.0/mllib-feature-extraction.html

请注意，它有一个注释“#加载文档（每行一个）”。然而，为了简洁起见，我从同一目录循环上传每个文本文件，如下所示：

import os
from pyspark import SparkContext
from pyspark.mllib.feature import HashingTF
from pyspark.mllib.feature import IDF    

train = os.listdir("/home/ubuntu/TF-IDF/TrainingSet") #create a list of file names
hashingTF = HashingTF()

for i in range(0,len(train)):  #create RDD of each text file, split into words and (attempt) to make hash table
    documents = sc.textFile("/home/ubuntu/TF-IDF/TrainingSet/" + train[i]).map(lambda line: line.split(" "))

    tf = hashingTF.transform(documents)

tf.count() #enact count to check if tf has worked as expected

但我发现用 tf.count() 作为检查，它给出的答案是 26，这肯定是错误的。尽管如此，从这里开始：

idf = IDF(minDocFreq=1).fit(tf)

tfidf = idf.transform(tf)

我的问题是如何使用这个 tfidf 和余弦相似度来匹配从测试集到训练集的文本文档？

Answer 1

嗯，我在你的问题中看到了两点。首先是你想要做什么的概念。让我看看我是否理解正确，你有两组文档 150 个训练集和 150 个测试集，你想用 tfidf 创建它们的向量表示（矩阵表示）。然后你想找到测试集与训练集的更高余弦相似度。

首先，您必须谨慎操作。您可以独立完成，创建两个矩阵 1 用于训练集，另一个用于测试集。然后，您必须首先检查一个中的所有术语是否在另一个中，或者添加每个中缺少的那些，以便您可以正确计算余弦相似度，您需要具有相同列数和顺序的相同向量，否则您将得到错误。同样重要的是要注意每个训练集和测试集都会有两个 idf 计算。如果您引入偏见，则选择它们的 idf 可能会在两者中存在很大差异，在这里也要小心。

或者你可以把它们放在一起，用 tfidf 构建一个矩阵，你知道第一个 150 是训练，第二个 150 是测试，或者在某个地方保留某种索引。有了这个，您可以确保它们都使用相同的空间、相同的列向量、idf 计算也沿着整个集合构建。然后你可以计算余弦相似度。

现在在您的代码中，tf 应该是每个文档一个向量，我猜您的 len(train) 大于 26，mb 那里有一个错误。计算余弦我觉得比较简单，这里有一些例子，它是为一对向量定义的，你需要循环运行。

Spark Cosine Similarity (DIMSUM algorithm ) sparse input file