当我尝试将外来字符插入数据库时，可能导致此错误的原因是什么？
>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)
我该如何解决？
谢谢！
【问题讨论】：
标签： python mysql unicode pylons
我在使用 Python MySQLdb 模块时遇到了同样的问题。由于 MySQL 将允许您在文本字段中存储几乎任何您想要的二进制数据，而不管字符集如何，我在这里找到了我的解决方案：
Using UTF8 with Python MySQLdb
编辑：引用上述 URL 以满足第一条评论中的请求...
"UnicodeEncodeError:'latin-1' codec can't encode character ..."
这是因为 MySQLdb 通常会尝试将所有内容编码为 latin-1。 这可以通过在之后立即执行以下命令来解决 你已经建立了连接：
db.set_character_set('utf8')
dbc.execute('SET NAMES utf8;')
dbc.execute('SET CHARACTER SET utf8;')
dbc.execute('SET character_set_connection=utf8;')
“db”是
MySQLdb.connect()的结果，“dbc”是MySQLdb.connect()的结果db.cursor().
【讨论】：
字符 U+201C 左双引号不存在于 Latin-1 (ISO-8859-1) 编码中。
它出现在代码页 1252（西欧）中。这是基于 ISO-8859-1 的特定于 Windows 的编码，但会将额外字符放入 0x80-0x9F 范围内。代码页 1252 经常与 ISO-8859-1 混淆，这是一种令人讨厌但现在标准的 Web 浏览器行为，如果您将页面作为 ISO-8859-1 提供，浏览器会将它们视为 cp1252。但是，它们实际上是两种不同的编码：
>>> u'He said \u201CHello\u201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said \u201CHello\u201D'.encode('cp1252')
'He said \x93Hello\x94'
如果您仅将数据库用作字节存储，则可以使用 cp1252 对 “ 和 Windows 西方代码页中存在的其他字符进行编码。但是 cp1252 中不存在的其他 Unicode 字符仍然会导致错误。
您可以使用encode(..., 'ignore') 通过删除字符来抑制错误，但实际上在本世纪您应该在数据库和页面中都使用 UTF-8。这种编码允许使用任何字符。理想情况下，您还应该告诉 MySQL 您正在使用 UTF-8 字符串（通过设置数据库连接和字符串列上的排序规则），以便它可以进行不区分大小写的比较和排序。
【讨论】：
cp1252 不是 ISO-8859-1 的严格超集吗？ IE。当浏览器收到 ISO-8859-1 页面时，它们可以将其渲染为 CP1252，因为无论如何不会有来自0x80-0x9F 范围内的任何字符。
最好的解决办法是
喜欢这个评论（添加use_unicode=True和charset="utf8"）
db = MySQLdb.connect(host="localhost", user = "root", passwd = "", db = "testdb", use_unicode=True, charset="utf8") – KyungHoon Kim Mar 2014 年 13 月 17 日 17:04
详情见：
class Connection(_mysql.connection):
"""MySQL Database Connection Object"""
default_cursor = cursors.Cursor
def __init__(self, *args, **kwargs):
"""
Create a connection to the database. It is strongly recommended
that you only use keyword parameters. Consult the MySQL C API
documentation for more information.
host
string, host to connect
user
string, user to connect as
passwd
string, password to use
db
string, database to use
port
integer, TCP/IP port to connect to
unix_socket
string, location of unix_socket to use
conv
conversion dictionary, see MySQLdb.converters
connect_timeout
number of seconds to wait before the connection attempt
fails.
compress
if set, compression is enabled
named_pipe
if set, a named pipe is used to connect (Windows only)
init_command
command which is run once the connection is created
read_default_file
file from which default client values are read
read_default_group
configuration group to use from the default file
cursorclass
class object, used to create cursors (keyword only)
use_unicode
If True, text-like columns are returned as unicode objects
using the connection's character set. Otherwise, text-like
columns are returned as strings. columns are returned as
normal strings. Unicode objects will always be encoded to
the connection's character set regardless of this setting.
charset
If supplied, the connection character set will be changed
to this character set (MySQL-4.1 and newer). This implies
use_unicode=True.
sql_mode
If supplied, the session SQL mode will be changed to this
setting (MySQL-4.1 and newer). For more details and legal
values, see the MySQL documentation.
client_flag
integer, flags to use or 0
(see MySQL docs or constants/CLIENTS.py)
ssl
dictionary or mapping, contains SSL connection parameters;
see the MySQL documentation for more details
(mysql_ssl_set()). If this is set, and the client does not
support SSL, NotSupportedError will be raised.
local_infile
integer, non-zero enables LOAD LOCAL INFILE; zero disables
autocommit
If False (default), autocommit is disabled.
If True, autocommit is enabled.
If None, autocommit isn't set and server default is used.
There are a number of undocumented, non-standard methods. See the
documentation for the MySQL C API for some hints on what they do.
"""
【讨论】：
emoji.etc，最好设置utf8mb4，参考what-is-the-difference-between-utf8mb4-and-utf8-charsets-in-mysql
我希望您的数据库至少是 UTF-8。然后在尝试将其放入数据库之前，您需要运行 yourstring.encode('utf-8')。
【讨论】：
您正在尝试使用无法描述该代码点的编码 ISO-8859-1 / Latin-1 存储 Unicode 代码点 \u201c。您可能需要更改数据库以使用 utf-8，并使用适当的编码存储字符串数据，或者您可能希望在存储内容之前清理输入；即使用something like Sam Ruby's excellent i18n guide。这谈到了windows-1252 可能导致的问题，并建议了如何处理它，以及示例代码的链接！
【讨论】：
使用下面的 sn-p 将文本从拉丁文转换为英文
import unicodedata
def strip_accents(text):
return "".join(char for char in
unicodedata.normalize('NFKD', text)
if unicodedata.category(char) != 'Mn')
strip_accents('áéíñóúü')
输出：
'阿依诺'
【讨论】：
SQLAlchemy 用户可以简单地将他们的字段指定为convert_unicode=True。
示例：
sqlalchemy.String(1000, convert_unicode=True)
SQLAlchemy 将简单地接受 unicode 对象并将它们返回，处理编码本身。
【讨论】：
Latin-1（又名ISO 8859-1）是单八位字节字符编码方案，您不能将\u201c（“）放入一个字节中。
您的意思是使用 UTF-8 编码吗？
【讨论】：
\u0391 适合一个字节（特别是字节 193）。你可能想看看that；人们发现它很有帮助。
UnicodeEncodeError: 'latin-1' codec can't encode character '\u2013' in position 106: ordinal not in range(256)
解决方案 1： \u2013 - 谷歌字符含义以确定实际导致此错误的字符，然后您可以将字符串中的特定字符替换为其他字符，这是您正在使用的编码的一部分。
解决方案 2： 将字符串编码更改为包含字符串所有字符的编码。然后你可以打印那个字符串，它就可以正常工作了。
以下代码用于更改字符串的编码，借用自@bobince
u'He said \u201CHello\u201D'.encode('cp1252')
【讨论】：
最新版本的mysql.connector只有
db.set_charset_collation('utf8', 'utf8_general_ci')
不是
db.set_character_set('utf8') //This feature is not available
【讨论】：
Python：您需要添加 # - * - 编码：UTF-8 - * - （去掉 * 周围的空格） 到python文件的第一行。然后将以下内容添加到要编码的文本中：.encode('ascii', 'xmlcharrefreplace')。这会将所有 unicode 字符替换为其 ASCII 等效字符。
【讨论】：