如何在 python 中从 csv 文件创建一个单词包？

Question

我是 python 新手。我有一个已清理推文的 csv 文件。我想用这些推文创建一个词袋。 我有以下代码，但它不能正常工作。

import pandas as pd
from sklearn import svm
from sklearn.feature_extraction.text import CountVectorizer

data = pd.read_csv(open("Twidb11.csv"), sep=' ')
count_vect = CountVectorizer()
X_train_counts = count_vect.fit_transform(data.Text)
count_vect.vocabulary_

错误：

.ParserError：标记数据时出错。 C 错误：预期有 19 个字段 第 5 行，锯 22

Answer 1

我认为它是重复的。你可以看到答案here。有很多答案和cmets。

所以，解决方案可以是：

data = pd.read_csv('Twidb11.csv', error_bad_lines=False)

或者：

df = pandas.read_csv(fileName, sep='delimiter', header=None)

“在上面的代码中， sep 定义了您的分隔符，而 header=None 告诉熊猫您的源数据没有标题/列标题行。因此，文档说：“如果文件不包含标题行，那么您应该明确传递header=None"。在这种情况下，pandas 会自动为每个字段 {0,1,2,...} 创建整数索引。"