将非 utf8 数据库转换为 utf-8

Question

我长期使用编码错误的数据库/连接，导致数据库中的希伯来语字符显示为未知语言字符，如下示例所示：

我想用插入的错误编码字符重新导入/更改数据库为正确的编码字符，因此希伯来字符将显示为希伯来字符，而不是像 *"× ×תה מסכי×,×× ×©×™× ×ž×¦×™×¢×™× ×œ×™ כמה ×”× "* 这样的未知解析

作为记录，当我用 php 显示这个未知字符 sql 数据时 - 它显示为希伯来语。当我尝试从 phpMyAdmin 面板访问它时 - 它显示为 jibrish（这些未知字符）。

虽然数据库中已经插入了一些数据，但有什么办法可以修复它？

Answer 1

这感觉就像“双重编码”的希伯来语字符串。

这部分恢复了文本：

UNHEX(HEX(CONVERT('× ×תה מסכי×,××' USING latin1))) 
-->  '� �תה מסכי�,�� 

我不知道是什么导致了� 符号。

请为某些单元格使用SELECT col, HEX(col) FROM ... WHERE ...;。如果正确存储，我希望שלום 给出十六进制D7A9D79CD795D79D。对于“双重编码”，我希望C397C2A9C397C593C397E280A2C397C29D。

请提供该 SELECT 的输出，然后我将研究如何恢复数据。

编辑

这就是我认为发生的事情。

• 客户端的字符编码为utf8；和
• SET NAMES latin1 谎称客户端有 latin1 编码；和
• 表中的列声明为CHARACTER SET utf8。

Yod 没有作为一个字母跳出来，所以花了一段时间才看到它。 CONVERT(BINARY(CONVERT('×™×™123' USING latin1)) USING utf8) -->יי123

所以，我认为该表达式会清理文本。但要小心；在“修复”整个表格之前尝试几行。

UPDATE table SET col = CONVERT(BINARY(CONVERT(col USING latin1)) USING utf8) WHERE ...;

如果这不起作用，这里有4 fixes for double-encoding，可能等效也可能不等效。 （注：BINARY(xx) 可能与CONVERT(xx USING binary) 相同。）

Answer 2

我不确定您是否可以对已存储在数据库中的数据执行任何操作。但是，您可以通过确保具有正确的字符集和排序规则来正确导入希伯来语数据。

1. 数据库排序规则必须是utf8_general_ci
2. 表与希伯来语的排序规则必须是utf8_general_ci

例如：

CREATE DATABASE col CHARACTER SET utf8 COLLATE utf8_general_ci;

CREATE TABLE `col`.`hebrew` (
  `id` INT NOT NULL AUTO_INCREMENT,
  `heb` VARCHAR(45) NOT NULL,
  PRIMARY KEY (`id`)
  ) CHARACTER SET utf8
  COLLATE utf8_general_ci;

INSERT INTO hebrew(heb) values ('שלום');