“字符串值不正确：”将 UTF8 文本插入 latin1 列时出现 MySQL 问题

Question

我在生产中有这个 MySQL 表，它是 charset latin1_swedish_ci (aka latin1)。

现在，有一个 UTF-8 格式的传入内容（String : "\ud55c\ubc24\uc758"）需要插入到名为 keywords 的 TEXT 列字段中桌子。

当我尝试执行 INSERT 时，我收到此错误：

Incorrect string value: '\xED\x95\x9C\xEB\xB0\xA4...' for column 'keywords' at row 1

我在我的 Java 代码中尝试了各种方法来尝试从 UTF8 转换为 ISO-8859-1，如下所示，但我仍然遇到同样的错误：

String convertedString = new String(originalString.getBytes("UTF-8"), "ISO-8859-1");

我知道 StackOverflow 上有一些解决方案提到将 MySQL 表的字符集从 latin1 更改为 UTF8，但遗憾的是我不能这样做，因为这是一个实时生产 MySQL 主服务器，而且它一直使用 latin1。

有没有人有任何建议来解决这个“不正确的字符串值”错误？

谢谢 是

Answer 1

您尝试做的事情根本不可能，除非 utf8 字符串中的字符也恰好在 latin1 中具有表示形式......并且 latin1 是一个很小的单字节字符集（少于 256 个可能的字符，总计），因此绝大多数有效的 utf8 字符没有等效的 latin1 表示。

您不能在该列的字符集不支持的列中存储任何字符。这不是从一个“转换”到另一个的问题。

如果你需要 unicode，你至少需要一个 utf8 列，修改表是唯一的选择。尝试不这样做就像尝试将负数存储在无符号整数列中。无符号整数不能为负数——这不是转换问题。

这对于任何支持字符数据类型的 RDBMS 都是正确的，并且不是特定于 MySQL 的限制。

Answer 2

한밤 是 한밤 的 Mojibake——这就是它在某个阶段被转换为 latin1 的地方。但是\ud55c\ubc24 是 Unicode。 Python处于什么模式？你一开始有这个吗？

# -*- coding: utf-8 -*- 

More Python checklist.

更多

utf8 是首选； euckr 是可能的。但是...问题不在于选择字符集，而在于在整个应用程序中指定该字符集时保持一致。

你在使用 Python 吗？它被标记为 Java？

对于 Java/JDBC，您需要在 getConnection() 调用中使用 ?useUnicode=yes&characterEncoding=UTF-8。

你需要这些：

• 客户端中的字节需要是utf8，如十六进制ED959C。 （韩语字符在 utf8 中都是 3 个字节。）
• 客户端和服务器之间的连接需要是utf8。连接后立即执行SET NAMES utf8 是另一种方法。
• 列/表必须是CHARACTER SET utf8。
• 如果您使用的是html，则需要<meta charset=UTF-8>。

对于韩语，utf8mb4 与utf8 一样好。检查上面这 4 个项目符号，并向我们“证明”您正在执行所有这些项目。

对于 JSP 和 Java Servlet，advice 略有不同是有保证的。