在 Python 中读取意大利语文本使用哪种编码？

Question

我正在使用 Python Tools for Visual Studio 并阅读一些用意大利语编写的文件。试过 iso-8859-1、iso-8859-2、utf-8、utf-8-sig。 Notepad++ 以不带 BOM 的 UTF-8 格式打开文件。

content = fp.read()
words = content.decode("utf-8-sig").lower().split()
for w in words:
    p=''
    cur.execute('SELECT word FROM  multiwordnet.italian_lemma l, multiwordnet.italian_synset s where l.id = s.id and l.lemma="%s"' % w) 

导致崩溃的字符串是C'è。 （读作"c\'\xe3\xa8"）

使用 chardet 没有帮助

Traceback (most recent call last):
File "C:\Users\Tathagata\Documents\Visual Studio 2012\Projects\PythonApplicati
on4\PythonApplication4\PythonApplication4.py", line 344, in <module>
createSynsetDict()
File "C:\Users\Tathagata\Documents\Visual Studio 2012\Projects\PythonApplicati
on4\PythonApplication4\PythonApplication4.py", line 294, in createSynsetDict
cur.execute('SELECT word FROM  multiwordnet.italian_lemma l, multiwordnet.it
alian_synset s where l.id = s.id and l.lemma="%s"' % w)
File "C:\Python27\lib\site-packages\pymysql\cursors.py", line 117, in execute
self.errorhandler(self, exc, value)
File "C:\Python27\lib\site-packages\pymysql\connections.py", line 187, in defa
ulterrorhandler
raise Error(errorclass, errorvalue)
Error: (<type 'exceptions.UnicodeEncodeError'>, UnicodeEncodeError('ascii', u's\
x00\x00\x00\x03SELECT word FROM  multiwordnet.italian_lemma l, multiwordnet.ital 
ian_synset s where l.id = s.id and l.lemma="c\'\xe3\xa8"', 116, 118, 'ordinal no
t in range(128)'))

Answer 1

假设您的数据库的绑定变量样式是format...

content = fp.read()
words = content.decode("utf-8-sig").lower().split()
for w in words:
    p=''
    cur.execute('SELECT word FROM ' +
                'multiwordnet.italian_lemma l, ' +
                'multiwordnet.italian_synset s ' +
                'where l.id = s.id and l.lemma=%s', w)

请注意，我们没有在 SQL 字符串和传入的变量之间使用% 运算符，也没有在%s 周围加上内引号；相反，%s 是一个占位符，用于标识在 SQL 中应该替换单词的位置，并且我们将要替换该占位符的值作为单独的参数传递。遵循这种做法不仅可以避免您需要处理编码问题（如果您的参数作为 Python Unicode 字符串传递，则数据库绑定负责从那里获取它），还可以防止SQL injection 安全漏洞。

其他 Python 数据库库可能使用不同的占位符样式；阅读文档或检查您的模块级paramstyle 常量。 （对于qmark，您的占位符应该是?；对于numeric，它应该是冒号前缀的数字（:1 用于第一个参数，:2 用于第二个参数等）