NLTK：如何从 csv 文件创建语料库答案

【问题标题】：NLTK: How to create a corpus from csv fileNLTK：如何从 csv 文件创建语料库
【发布时间】：2016-03-17 20:50:48
【问题描述】：

我有一个 csv 文件

col1         col2      col3

some text    someID    some value
some text    someID    some value

在每一行中，col1 对应于整个文档的文本。我想从这个 csv 创建一个语料库。我的目标是使用 sklearn 的 TfidfVectorizer 来计算文档相似度和关键字提取。所以考虑

tfidf = TfidfVectorizer(tokenizer=tokenize, stop_words='english')
tfs = tfidf.fit_transform(<my corpus here>)

所以我可以使用

str = 'here is some text from a new document'
response = tfidf.transform([str])
feature_names = tfidf.get_feature_names()
for col in response.nonzero()[1]:
    print feature_names[col], ' - ', response[0, col]

如何使用 nltk 创建语料库？语料库应该是什么形式/数据结构才能提供给转换函数？

【问题讨论】：

标签： python csv nlp nltk tf-idf

【解决方案1】：

从pandas 库中查看read_csv。这是文档：http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html

您可以通过在命令行运行 pip install pandas 来安装 pandas。然后加载 csv 并选择该列应该像下面这样简单：

data = pd.read_csv(path_to_csv)
docs = data['col1']

tfs = tfidf.fit_transform(docs)

【讨论】：

谢谢，但是这种方法并不准确。 docs 仍然是一个系列对象，而不是字符串列表。因此我的 fit_transform 不起作用。关于如何将数据框列转换为值列表的任何想法？
找到了。它应该是 docs=data['col1'].tolist() :) 如果你更新你的答案，我会接受
啊，好电话，看起来像将二维数组（数据帧）传递给fit_transform 不起作用。但是，一维数组应该可以工作，因此只需使用data['col1'] 获取系列就足够了（无需将Series 转换为list）。已更新。
恐怕我必须将其转换为列表。否则它仍然会收到 pandas.Series :) 感谢您的帮助。
您使用的是什么版本的 pandas 和 sklearn？该系列适用于我的 sklearn 0.17 和 pandas 0.17.0。