非英语单词的 n-gram 生成答案

【问题标题】：n-gram generation for words of non english languages非英语单词的 n-gram 生成
【发布时间】：2015-12-09 17:34:21
【问题描述】：

我正在为捷克语单词执行 Bigram 生成。我能够使用 Python 生成 Bi-gram。问题在于捷克语中的非英文字符。

输入：

republikán strategy proti znovuzvolení Obamy。

执行Bigram，输出为

[['republik\xc3\xa1n', 'strategii'], ['strategii', 'proti'], ['proti', 'znovuzvolen\xc3\xad'], ['znovuzvolen\xc3 \xad', 'Obamy']]

捷克语的特殊字母在bigram中转换为\xc3\xad。需要对代码进行哪些更改才能在输出中以正确的方式获取特殊字母

【问题讨论】：

【解决方案1】：

数据是正确的，但是当您将列表转换为字符串时，输出是使用repr 为列表项准备的，而不是str。比较：

>>> x = [['republikán']]
>>> print(x)
[['republik\xc3\xa1n']]
>>> print(x[0])
['republik\xc3\xa1n']
>>> print(x[0][0])
republikán
>>>

【讨论】：