python3 nltk word_tokenize() 有字符串长度限制吗？

Question

我有一个由数据库主键和字符串组成的字典。

self.mydict = {
1:'a small example'
,2:'some sentence'
,3:'a very long string around 30k characters'
}

对于字符串长度 对于一些非常大的字符串（长度=30,000），标记器会在我的 csv 输出中返回多条虚线。

def write_data(self):
    headers=[]
    for x,y in self.mydict.items():
        headers.append([word_tokenize(y)])
        print(len(y))

    with open(self.outputdata, 'w', encoding='utf-8', newline='') as f:
        writer = csv.writer(f)
        for item in headers:
            writer.writerow(item)

将我的结果写入 csv，我得到以下信息：

['a','small','example']
['some','sentence']
['a','very','long',
string','around','30k','characters']"

因此，30k 长度的字符串由于某种原因而中断，并且似乎分裂到另一行。我可以截断字符串的前 1000 个字符，这个问题就消失了，但我更愿意在进行自然语言处理时保留长字符串。这个错误是由于字符串的长度还是我编写 csv 的方式？

Answer 1

不，NLTK 的word_tokenize() 函数没有字符串长度限制。

但是csv.writer对字段大小有限制，见https://docs.python.org/3.4/library/csv.html?highlight=csv#csv.field_size_limit