使用正确的 Python 编码从 Oracle 导入

Question

我很抱歉提出了一个字符编码问题，因为我知道你们每天都会遇到很多问题，但我无法弄清楚我的问题，所以我还是问了。

这是我们正在做的事情：

1. 使用 Python 和 cx_Oracle 从 Oracle 数据库中获取数据。
2. 使用 Python 将数据写入文件。
3. 使用 Python 和 psycopg2 将文件引入 Postgres。

以下是重要的 Oracle 设置：

SQL> select * from NLS_DATABASE_PARAMETERS;

PARAMETER                      VALUE
------------------------------ ----------------------------------------
NLS_LANGUAGE                   AMERICAN
NLS_TERRITORY                  AMERICA
NLS_CURRENCY                   $
NLS_ISO_CURRENCY               AMERICA
NLS_NUMERIC_CHARACTERS         .,
NLS_CHARACTERSET               US7ASCII

根据NLS_LANGfaq，您应该根据您的客户端操作系统使用的内容设置 NLS_LANG。

运行 locale 给我们：LANG=en_US.UTF-8（所有其他字段也是 en_US.UTF-8）。

所以，在我们的 Python 脚本中，我们这样设置：

os.environ["NLS_LANG"] = "AMERICAN_AMERICA.AL32UTF8"

然后我们导入数据并将其写入文件。

row = cur.fetchall()
fil.write(row[0][0]) #For this test, I am only writing one row and one field.

我们将该文件提取到我们的 UTF-8 Postgres 数据库中。

不幸的是，由于某种原因，我们在我们的文件和随后的 PG 表中得到了这个符号：�。如果我的理解是正确的，这是Replace Character。我相信如果 Unicode 无法识别符号，则该字符应显示出来。

（在某些文本编辑器中，符号显示为�）。

我不明白为什么会这样？我认为 UTF-8 向后兼容 7 位 ASCII？

即使我们使用的是区域页面，它是否仍然可以工作，因为客户端使用的是 US，而 Oracle 服务器使用的是 AMERICAN？

我如何检查数据是否正确导入，如果不正确，我该如何修复它以便将来导入？

注意：Oracle 字段是 CHAR 字段，而不是 NCHAR 字段。

注意 2：我们使用的是 Python 2.4，因此我们没有 Python 3.X 中的原生 Unicode 内容。因此，尽管我认为 cx_Oracle 已经解决了这一切，但 Python 可能在某个地方搞砸了。

感谢您的宝贵时间，希望您有美好的一天。

Answer 1

不幸的是，由于某种原因，我们在我们的文件和随后的 PG 表中得到了这个符号：�。如果我的理解是正确的，这就是替换字符。我相信如果 Unicode 无法识别符号，则该字符应显示出来。

基本正确，但不完全正确。 PostgreSQL 将在使用该编码时拒绝插入非 UTF8 文本字符（在 StackOverflow 上搜索“Invalid UTF8 postgresql”）。您看到的字符很可能是您的 font 无法识别的有效 UTF8 字符，因此显示了替换字符。如果符号在您的 Oracle 数据库中并且实际上是那里的替换符号，那么您想用什么替换它？如果是这种情况，则信息已经丢失。

我不明白为什么会这样？我认为 UTF-8 向后兼容 7 位 ASCII？

是的。

我如何检查数据是否正确导入，如果不正确，我该如何修复它以便将来导入？

您的问题很可能出在 Oracle 数据库的上游。我会找出实际将问题数据插入 Oracle 数据库并在那里修复它。如果您可以根据 Oracle 中的数据检查 Pg 中的数据，您应该能够确定数据是否字符与字符相同（并标记任何差异）。这就是检查当前导入的方法。

注意 2：我们使用的是 Python 2.4，因此我们没有 Python 3.X 中的原生 Unicode 内容。因此，尽管我认为 cx_Oracle 已经解决了这一切，但 Python 可能在某个地方搞砸了。

这是另一种可能性。对于文件转换，我个人更喜欢 Perl，因为它集成了正则表达式和绝对一流的 PostgreSQL 支持。但是，我认识到此时您的导入例程可能不容易转换。我对在 Perl 中解决 UTF8 转换问题比在 Python 中更熟悉一些。不过，我确实想知道您是否可以检查以二进制格式输出的数据中是否有此类符号。