Perl 中正则表达式中的格式错误的 UTF-8 字符错误答案

【问题标题】：Malformed UTF-8 character error in regular expression in PerlPerl 中正则表达式中的格式错误的 UTF-8 字符错误
【发布时间】：2010-07-05 20:36:28
【问题描述】：

当我将一些标量数据放入 XML::Simple 或 Data::Dumper 时，出现“格式错误的 UTF-8 字符”错误。出现错误的行有正则表达式。

Malformed UTF-8 character (fatal) at /usr/share/perl5/XML/Simple.pm line 1690.
Malformed UTF-8 character (fatal) at /usr/lib/perl/5.10/Data/Dumper.pm line 682.

目前我无法用一小段代码重现错误。

XML::Simple 2.18
Data::Dumper 2.124
perl v5.10.1

【问题讨论】：

无效的 UTF-8 字符是什么意思？您是指无效的代码点、无效的 UTF-8 字节序列还是其他什么？您能否举例说明您希望删除的“无效 UTF-8 字符”？
是一个 UTF-8 字符串，可能偶尔会包含一些二进制数据。我不知道它是如何建造的。
任何以 0 开头的字节都是有效的 UTF-8，但同时也可以是你所说的“二进制数据”
所以你真正的问题看起来好像你想创建一个 XML 文档并得到一个关于无效 UTF-8 字符的错误？请注意，XML 不允许嵌入所有有效的 UTF-8 字符。这些字符（U+0020 以下的大多数控制字符）需要嵌入到 CDATA 部分中或从输入数据中删除。
对 unclear 问题投反对票 - 问题无法重现。当您编辑您的问题以提供错误数据的小型十六进制转储时，我将撤消我的投票。

标签： regex perl utf-8

【解决方案1】：

之所以出现问题，是因为在应用程序代码深处的某个地方存在带有标量的 Encode::_utf8_on，这不是正确的 UTF-8 字符串。

【讨论】：

我知道，现在听起来很愚蠢。我不确定是否应该删除这个问题。

【解决方案2】：

您可以尝试通过Encoding::FixLatin 传送您的数据。如果您遇到的“二进制”字节实际上是 Latin-1 字符，那么它们将被转换为有效的 UTF8。如果它们真的是随机二进制字节，那么它们至少应该被转换为随机（但有效）的 UTF8 字符:-)

【讨论】：

也许应该，但 XML::Simple 2.18 不喜欢它们 :) 不幸的是，Latin-1 字符还不够。

【解决方案3】：

核心编码模块为Handling Malformed Data 提供了便利。不过，我自己从未使用过它们。

【讨论】：

> 一些编码忽略 CHECK 参数。例如，Encode::Unicode 会忽略 CHECK，并且它总是在出错时发出嘶嘶声。 :S