perl：将字符串转换为 utf-8 以进行 json 解码

Question

我正在抓取一个网站并从其 JSON 中收集信息。结果保存在哈希中。但是有些页面给了我“JSON 字符串中格式错误的 UTF-8 字符”错误。我注意到“cafe”中的最后一个字母会产生错误。我认为这是因为字符类型的混合。所以现在我正在寻找一种将所有类型的字符转换为 utf-8 的方法（希望有一种完美的方法）。我尝试了 utf8::all，它只是不起作用（也许我没有做对）。我是菜鸟。请帮忙，谢谢。

---

更新

好吧，在我阅读了 brian d foy 发布的文章“Know the difference between character strings and UTF-8 strings”之后。我用代码解决了问题：

use utf8;
use Encode qw(encode_utf8);
use JSON;


my $json_data = qq( { "cat" : "Büster" } );
$json_data = encode_utf8( $json_data );

my $perl_hash = decode_json( $json_data );

希望这对其他人有所帮助。

Answer 1

decode_json 期望 JSON 已使用 UTF-8 编码。

虽然您的源文件是使用 UTF-8 编码的，但您让 Perl 使用 use utf8; 对其进行解码（您应该这样做）。这意味着您的字符串包含 Unicode 字符，而不是代表这些字符的 UTF-8 字节。

正如您所展示的，您可以在将字符串传递给decode_json 之前对其进行编码。

use utf8;
use Encode qw( encode_utf8 );
use JSON   qw( decode_json );

my $data_json = qq( { "cat" : "Büster" } );
my $data = JSON->new->utf8(1)->decode(encode_utf8($data_json));
   -or-
my $data = JSON->new->utf8->decode(encode_utf8($data_json));
   -or-
my $data = decode_json(encode_utf8($data_json));

但您可以简单地告诉 JSON 字符串已经解码。

use utf8;
use JSON qw( from_json );

my $data_json = qq( { "cat" : "Büster" } );
my $data = JSON->new->utf8(0)->decode($data_json);
   -or-
my $data = JSON->new->decode($data_json);
   -or-
my $data = from_json($data_json);