无法使用 python 将列从 csv 导入 NLTK

Question

我无法将 csvfile 中的数据标记为 nltk

这是我的代码

import nltk
import csv
import numpy

from nltk import sent_tokenize
from nltk import word_tokenize
from nltk import pos_tag

reader = csv.reader(open('/Users/yoshithKotla/Desktop/dingdang/tweets.csv', 'rU'), delimiter= ",",quotechar='|')
tokenData = nltk.word_tokenize(reader)

Answer 1

您可以使用 Pandas 库。

import pandas as pd
from nltk import word_tokenize

data=pd.read_csv('/Users/yoshithKotla/Desktop/dingdang/tweets.csv')

#Considering tweets to be present in 'text' column.
Texts=list(data['text'].values)

tokenData = [nltk.word_tokenize(tweet) for tweet in Texts]

tokenData 是 word_tokenized 列表的列表。