假设我想提取在某个文本文件中找到的给定字符串后面的第一个单词（或浮点数）（请参阅How to extract the first word that follows a string?）。我知道您可以使用 perl 或 sed 以及可能许多其他方式来做到这一点。我正在寻找性能。最快的解析方式是什么？
【问题讨论】：
如果你正在寻找一个固定的字符串，你可能想使用类似 Boyer-Moore 或 Boyer-Moore-Horspool 的东西来搜索它（对于后者，我推荐 Ray Gardner 的实现）。请注意，B-M 和 B-M-H 都是 次线性。相比之下，正则表达式充其量是线性的1，并且许多实现（使用回溯的实现）是二次的。
下一步是确保您尽快将数据读入内存。实际上，这通常会成为瓶颈。不幸的是，为了很好地处理瓶颈，您通常必须使用一些不可移植的代码。在 Linux 下，mmap 往往是您最好的选择，而在 Windows 下，通常最好一次读取大块，并使用 FILE_FLAG_NO_BUFFERING 标志调用 CreateFile。还值得使用 I/O 完成端口 (IOCP) 来执行读取，这样您就可以并行执行搜索和读取。
1理论上，可以编写一个 RE 引擎来进行亚线性搜索以搜索正确的模式类型——但如果有任何实际这样做，我不知道。
【讨论】：
FILE_FLAG_NO_BUFFERING？这不会禁用预读，导致更差吞吐量吗？
与大多数类似问题一样，我会实施您的特定案例并使用一系列适用工具对其进行衡量。
您可能发现其他因素会影响您的数据，例如打开/读取文件等的速度，因此技术推荐将毫无价值。
【讨论】：
大多数时候，您将从磁盘读取字符串，或者更糟糕的是，从网络读取它，这已经比您选择的任何理智的搜索方式慢了几个数量级。话虽如此，如果您的字符串已经在内存中，并且您预先知道您的搜索词，则可以保证正则表达式（真正的基于 FSM 的，而不是 Perl 的）在时间上与输入大小成线性关系——所以更快的是只会以一个常数因子更快。有一个名为 re2 的快速正则表达式引擎库。
【讨论】：
我敢打赌，如果这真的是一个简单的案例（不涉及真正的正则表达式），C 会赢（memchr() 和朋友），否则 TCL 将是一个强有力的竞争者，其次是 Perl（后者需要良好的制作技能用于正则表达式设计）。
附录：再次阅读您的描述（以及随附的链接），我会说您应该测试一些工具并比较结果。您能否为我们（某处）提供一个输入文件并根据该文件指定确切的问题？
附录 2（费曼）： 我保存了这个站点（~44KB，'sof.dat'）并进行了重复搜索测试 （正如您建议的那样：“网站设计/”）在 Perl 中。这是使用的代码：
...
use Benchmark qw' timeit timestr ';
{
open my $fh, '<', 'sof.dat' or die $!;
undef $/;
our $data = <$fh>;
close $fh;
my $count = 100000;
my $t = timeit($count, ' $data =~ m|site design /| ? 1 : 0 ' );
print "$count loops of code took:", timestr($t),"\n";
}
...
使用我的设置（2.4GHz E6600、Win7、Activeperl），出现以下时序：
100000 次代码循环：1 挂钟秒 (1.36 usr + 0.00 sys = 1.36 CPU) @ 73746.31/s (n=100000)
也就是说，我每秒可以在这个页面上找到这个文本大约 74000 次。
如果我包含完整的文件处理：
use Benchmark qw' timeit timestr ';
{
my $count = 10000;
my $t = timeit($count, q{
open my $fh, '<', 'sof.dat' or die $!;
undef $/;
our $data = <$fh>;
close $fh;
$data =~ m|site design /| ? 1 : 0
} );
print "$count loops of code took:", timestr($t),"\n";
}
我们只会得到：
10000 次代码循环：3 挂钟秒（1.70 usr + 1.51 sys = 3.21 CPU）@ 3110.42/s (n=10000)
每秒大约 3000 次搜索/查找通道。
问候
rbo
【讨论】：