UnicodeDecodeError：“ascii”编解码器无法解码字节 - Python

Question

这与以下问题有关-

• Python unicode equal comparison failed
• Find word infront and behind of a Python list
• Searching for Unicode characters in Python
• NLTK Context Free Grammar Genaration

我有 python 应用程序执行以下任务 -

# -*- coding: utf-8 -*-

1.读取 unicode 文本文件（非英文）-

def readfile(file, access, encoding):
    with codecs.open(file, access, encoding) as f:
        return f.read()

text = readfile('teststory.txt','r','utf-8-sig')

这会将给定的文本文件作为字符串返回。

2。将文本拆分成句子。

3.浏览每个句子中的单词并识别动词、名词等。

参考 - Searching for Unicode characters in Python 和 Find word infront and behind of a Python list

4.将它们添加到单独的变量中，如下所示

名词 = "汽车" | “巴士”|

动词 = "驱动器" | “命中”

5.现在我正在尝试将它们传递给 NLTK 上下文无关语法，如下所示 -

grammar = nltk.parse_cfg('''
    S -> NP VP
    NP -> N
    VP -> V | NP V

    N -> '''+nouns+'''
    V -> '''+verbs+'''
    ''')

它给了我以下错误-

第 40 行，在 V -> '''+verbs+''' UnicodeDecodeError: 'ascii' codec can't decode byte 0xe0 in position 114: ordinal not in range(128)

我怎样才能克服这个问题并将变量传递给 NLTK CFG ？

完整代码 - https://dl.dropboxusercontent.com/u/4959382/new.zip

Answer 1

总体而言，您有以下策略：

• 将输入视为字节序列，则输入和语法都是 utf-8 编码的数据（字节）
• 将输入视为 unicode 代码点序列，然后输入和语法都是 unicode。
• 将 unicode 代码点重命名为 ascii，即使用转义序列。

使用 pip 安装的 nltk，在我的情况下为 2.0.4，不直接接受 unicode，但接受引用的 unicode 常量，以下所有似乎都有效：

In [26]: nltk.parse_cfg(u'S -> "\N{EURO SIGN}" | bar')
Out[26]: <Grammar with 2 productions>

In [27]: nltk.parse_cfg(u'S -> "\N{EURO SIGN}" | bar'.encode("utf-8"))
Out[27]: <Grammar with 2 productions>

In [28]: nltk.parse_cfg(u'S -> "\N{EURO SIGN}" | bar'.encode("unicode_escape"))
Out[28]: <Grammar with 2 productions>

请注意，我引用了 unicode 文本而不是普通文本 "€" 与 bar。