Perl 和 Unix 如何以相同的顺序对 Unicode 字符串进行排序和排序？

Question

我试图让 Perl 和 GNU/Linux sort(1) 程序就如何对 Unicode 字符串进行排序达成一致。我正在使用LANG=en_US.UTF-8 运行sort。在 Perl 程序中我尝试了以下方法：

• use Unicode::Collate 与 $Collator = Unicode::Collate->new();
• use Unicode::Collate::Locale 与 $Collator = Unicode::Collate->new(locale => $ENV{'LANG'});
• use locale

它们中的每一个都因以下错误而失败（来自 Perl 方面）：

• 输入未排序：[----,] 位于 [($1] 之后
• 输入未排序：[...] 在 [&] 之后
• 输入未排序：[($1] 位于 [1] 之后

对我有用的唯一方法是为 sort 设置 LC_ALL=C，并在 Perl 中使用 8 位字符。但是，这样一来，Unicode 字符串就没有正确排序。

Answer 1

我不能直接回答，但是我在获取一个简单的脚本来正确排序塞尔维亚拉丁文本时遇到了问题，我找到了https://www.perl.com/pub/2012/06/perlunicook-demo-of-unicode-collation-and-printing.html/，复制了他的设置（我的实际处理比他的简单得多），最后得到了正确的该语言和区域设置的字母排序。在https://www.perl.com/pub/2012/04/perlunicook-standard-preamble.html/ 的整套指南中，几乎任何人都需要了解 Unicode 语言排序。

我假设您想对希腊语进行排序。这是我从指南中复制和改编的一个非常简单的版本，排序正确。

# min required setup for trial sort
use utf8;
use v5.14; # for locale sorting and unicode_strings
use Unicode::Normalize;
use Unicode::Collate::Locale;
my @words = qw{
        Η
        Ιθάκη
        σ'
        έδωσε
        το
        ωραίο
        ταξίδι.
        Χωρίς
        αυτήν
        δεν
        θάβγαινες
        στον
        δρόμο.
};
print "Unsorted: @words\n";
my $coll = Unicode::Collate::Locale->new( locale => "el_GR" );
my @sorted_words = $coll->sort(@words);
print "Sorted: @sorted_words\n";

Answer 2

使用 Unicode::Sort 或 Unicode::Sort::Locale 没有任何意义。您不是在尝试根据 Unicode 定义进行排序，而是在尝试根据您的语言环境进行排序。这就是use locale; 的用途。

我不知道您为什么没有从cmp 下的use locale; 获得所需的订单。

你可以处理解压后的文件。

for q in file1.uniqc file2.uniqc ; do
   perl -ne's/^\s*(\d+) //; for $c (1..$1) { print }' "$q"
done | sort | uniq -c

当然，它需要更多的临时存储空间，但你会得到你想要的顺序。

---

我发现一个案例 use locale; 没有导致 Perl 的 sort/cmp 给出与 sort 实用程序相同的结果。诡异的。

$ export LC_COLLATE=en_US.UTF-8

$ perl -Mlocale -e'print for sort { $a cmp $b } <>' data
(
($1
1

$ perl -MPOSIX=strcoll -e'print for sort { strcoll($a, $b) } <>' data
(
($1
1

$ sort data
(
1
($1

说实话，sort 实用程序很奇怪。

---

在 cmets 中，@ninjalj 指出怪异可能是由于未定义权重的字符造成的。在比较这些字符时，排序是不确定的，因此不同的引擎可能会产生不同的结果。重新创建确切顺序的最佳选择是使用 sort 到 IPC::Run3 实用程序，但听起来不能保证总是产生相同的顺序。