如何在 Perl 中从一个文件中获取查询、搜索另一个文件并输出到第三个文件？

Question

编辑：我原来的标题已经改变了。我怀疑现在的标题并没有揭示我最初的目的：让 Perl 自动使用一个文件的内容作为搜索关键字的来源来搜索另一个文件，然后将匹配结果输出到第三个文件。。 p>

这意味着如果没有这种自动化，我将不得不手动输入FILE1 中列出的那些查询词，并通过简单地编写类似while(<FILE2>){if (/query terms/){print FILE3 $_}} 的内容一次从FILE2 获取匹配项。

更具体地说，FILE1 应该如下所示：

azure
Byzantine
cystitis
dyspeptic
eyrie
fuzz

FILE2 可能（或可能不会）看起来像这样：

azalea        n.  flowering shrub of the rhododendron family
azure         adj. bright blue, as of the sky 
byte          n. fixed number of binary digits, often representing a single character
Byzantine     adj. of Byzantium or the E Roman Empire
cystitis      n. inflammation of the bladder
Czech         adj. of the Czech Republic or Bohemia
dyslexic      adj. suffering from dyslexia
dyspeptic     adj. suffering from dyspepsia
eyelet        n. small hole in cloth, in a sail, etc for a rope, etc to go through; 
eyrie         n. eagle's nest
fuzz          n. mass of soft light particle
fuzzy         adj. like fuzz

如果FILE2 是上面的样子，FILE3 应该看起来像这样：

azure         adj. bright blue, as of the sky 
Byzantine     adj. of Byzantium or the E Roman Empire
cystitis      n. inflammation of the bladder
dyspeptic     adj. suffering from dyspepsia
eyrie         n. eagle's nest
fuzz          n. mass of soft light particle

我花了几个小时的反复试验才最终找出一个看似可行的解决方案，但我的代码可能有问题，更不用说效率低下了。如果我错了，我希望你们能把我送到正确的轨道上，请给我一些指导并与我分享一些解决问题的不同方法（嗯，必须有）。正如 daotoad 所建议的，我试图注释掉每一行代码的作用。如果我误解了什么，请纠正我。

#!perl  #for Windows, simply perl suffices. I'm reading *Learning Perl*.    
use warnings; #very annoying I've always been receiving floods of error messages
use strict;   #I often have to look here and there because of my carelessness

open my $dic,'<', 'c:/FILE2.txt' or die "Cannot open dic.txt ;$!"; # 3-argument version of open statement helps avoid possible confusion; Dunno why when I replace dic.txt with $dic in the death note, I'll receive "needs explicit package name" warning. Any ideas?
open my $filter,'<','c:/FILE1.txt' or die "Cannot open new_word.txt :$!"; 
my @filter=<$filter>; #store the entire contents of FILE1 into @filter.
close $filter;        #FILE1 is useless so close the connection between FILE1 and perl
open my $learn,'>','c:/FILE3.txt'; #This file is where I output matching lines.
my $candidate="";     #initialize the candidate to empty string. It will be used to store matching lines. Learnt this from Jeff.

while(<$dic>){    #let perl read the contents of FILE2 line by line.
for (my $n=0; $n<=$#filter; $n++){ #let perl go through each line of FILE1 too
my $entry = $filter[$n];
chomp($entry);   #Figured out this line must be added after many fruitless attempts
if (/^$entry\s/){  #let perl compare each line of FILE2 with any line of FILE1.
$candidate.= $_ ; } #every time a match is found, store the line into $candidate
}
}
print $learn $candidate; #output the results to FILE3

更新 1：

非常感谢您的指导！我真的很感激:)

我相信我现在正朝着与我最初打算的方向有些不同的方向前进。哈希的概念超出了我当时的 Perl 知识储备。完成了学习 Perl 的哈希部分后，我现在在想：虽然使用哈希可以有效地解决我上面发布的示例问题，但如果定义文件 (@987654332) 中的词条（不是整个条目），情况可能会变得复杂@) 有重复。

但另一方面，我看到哈希在 Perl 编程中非常重要。所以今天早上我尝试实现@mobrule 的想法：将FILE1 的内容加载到哈希中，然后检查FILE2 中每一行的第一个单词是否在您的哈希表中。但后来我决定我应该加载@ 987654335@ 转换为哈希而不是 FILE1，因为 FILE2 包含字典条目，将 HEADWORDS 视为 KEYS 并将 DEFINITIONS 视为 VALUES 是有意义的。现在我想出了以下代码。似乎离成功很近了。

#!perl

open my $learn,'>','c:/file3.txt' or die "Cannot open Study Note;$!";
open my $dic,"<",'c:/file2.txt' or die "Cannot open Dictionary: $!";
my %hash = map {split/\t+/} <$dic>; # #I did some googling on how to load a file into a hash and found this works. But actually I don't quite understand why. I figured the pattern out by myself. /\t+/ seems to be working because the headwords and the main entries in FILE2 are separated by tabs.  

open my $filter,'<','c:/file1.txt' or die "Cannot open Glossary: $!";
while($line=<$filter>){
chomp ($line);
if (exists $hash{$line}){
print "$learn $hash{$line}"; # this line is buggy. first it won't output to FILE3. second, it only prints the values of the hash but I want to include the keys.
}
}

代码在屏幕上输出以下结果：

GLOB(0x285ef8) adj. bright blue, as of the sky
GLOB(0x285ef8) adj. of Byzantium or the E Roman Empire
GLOB(0x285ef8) n. inflammation of the bladder
GLOB(0x285ef8) adj. suffering from dyspepsia
GLOB(0x285ef8) n. eagle's nest
GLOB(0x285ef8) n. mass of soft light particle

更新 2：

解决了一个问题。我现在可以通过对最后一行进行小修改来打印键和值。

print "$learn $line: $hash{$line}";

更新 3：

哈哈：我做到了！我做到了：）我再次修改了代码，现在它输出了东西到FILE3！

#!perl

open my $learn,'>','c:/file3.txt' or die $!;
open my $dic,"<",'c:/file2.txt' or die $!;
my %hash = map {split/\t+/} <$dic>; #the /\t+/ pattern works because the entries in my FILE2 are separated into the headwords and the definition by two tab spaces. 

open my $filter,'<','c:/file1.txt' or die $!;
while($line=<$filter>){
chomp ($line);
if (exists $hash{$line}){
print $learn "$line: $hash{$line}";
}
}

更新 4：

我在想，如果我的FILE2 的内容完全不同，比如包含FILE1 中的查询词的句子，那么我们使用哈希方法会很困难，即使不是不可能，对吧？

更新 5：

仔细阅读了关于拆分运算符的 perlfunc 页面，现在我知道如何改进我的代码了 :)

#!perl

open my $learn,'>','c:/file3.txt' or die $!;
open my $dic,"<",'c:/file2.txt' or die $!;
my %hash = map {split/\s+/,$_,2} <$dic>; # sets the limit of separate fields to 2
open my $filter,'<','c:/file1.txt' or die $!;
while($line=<$filter>){
chomp ($line);
if (exists $hash{$line}){
print $learn "$line: $hash{$line}";
}
}

Answer 1

通过一次考虑所有问题而不是将其分解为可管理的部分，您正在使问题变得比它需要的更难。

您在这里似乎不需要正则表达式。您只需要查看第一列中的术语是否在列表中：

open my($patterns), '<', 'patterns.txt' or die "Could not get patterns: $!"; 

my %hash = map { my $p = $_; chomp $p; $p, 1 } <$patterns>;

open my($lines), '<', 'file.txt' or die "Could not open file.txt: $!";

while ( <$lines> ) {
    my( $term ) = split /\s+/, $_, 2;
    print if exists $hash{$term};
    }

如果您真的需要正则表达式来查找术语，您也许可以只使用 grep：

 grep -f patterns.txt file.txt

Answer 2

您是否已进入 Learning Perl 中学习哈希的部分？您可以将 FILE1 的内容加载到哈希表中，然后检查 FILE2 中每一行的第一个单词是否在您的哈希表中。

Answer 3

如果您实际上不必使用 Perl，（并且您安装了 cygwin 或其他 unixy），您可以使用 grep -f new_word.txt dic.txt。但是让我们假设你想在这里学习一些关于 Perl 的东西.. :)

use strict 和 use warnings 对于发现问题（以及培养良好习惯）非常有用。请记住，如果您不确定警告消息的含义，可以在 perldoc perldiag 中查找。

关于您的评论“不知道为什么当我在死亡笔记中将 dic.txt 替换为 $dic 时，我会收到“需要明确的包名称”警告。有什么想法吗？” -- $dic 不是文件名，而是文件句柄，不是您通常想要打印的内容。为避免使用两次文件名（例如，为了以后更容易更改），请在文件顶部定义它，就像我所做的那样。

使用子程序在每个文件中推进位置感觉有点粗糙，但是这种算法只对每个文件循环一次，并且不会将任何一个文件读入内存，因此即使对于巨大的输入文件也可以工作。 （这取决于两个文件都被排序，它们似乎在您提供的示例中。）

代码已编辑和修复。我不应该在睡觉前敲掉一个版本然后不测试它（我责怪配偶）：D

use warnings;
use strict;

my $dictFile = 'dict.txt';
my $wordsFile = 'words.txt';
my $outFile = 'out.txt';

open my $dic, '<', $dictFile or die "Cannot open $dictFile: $!";
open my $filter, '<', $wordsFile or die "Cannot open $wordsFile: $!";
open my $learn, '>', $outFile or die "Cannot open $outFile: $!";

# create variables before declaring subs, which creates closures
my ($word, $key, $sep, $definition);
sub nextWord {
    $word = <$filter>;
    done() unless $word;
    chomp $word;
};
sub nextEntry {
    # use parens around pattern to capture it into the list for later use
    ($key, $sep, $definition) = split(/(\s+)/, <$dic>, 2);
    done() unless $key;
}
sub done
{
    close $filter or warn "can't close $wordsFile: $!";
    close $dic or warn "can't close $dictFile: $!";
    close $learn or warn "can't close $outFile: $!";
    exit;
}

nextWord();
nextEntry();

# now let's loop until we hit the end of one of the input files
for (;;)
{
    if ($word lt $key)
    {
        nextWord();
    }
    elsif ($word gt $key)
    {
        nextEntry();
    }
    else    # word eq $key
    {
        # newline is still in definition; no need to append another
        print $learn ($key . $sep . $definition);
        nextWord();
        nextEntry();
    }
}

Answer 4

在我看来，假设要查找的单词数量相对于字典的大小来说会很小，这似乎是合理的。因此，您可以将FILE1.txt 读入内存，将每个单词放入哈希中。

然后，阅读字典，仅输出该术语在散列中的行。我还将输出到STDOUT，然后可以将其从命令行重定向到您想要的任何文件。

#!/usr/bin/perl

use strict; use warnings;
use autodie qw(open close);

my ($words_file, $dict_file) = @ARGV;

my %words;
read_words(\%words, $words_file);

open my $dict_fh, '<', $dict_file;

while ( my $line = <$dict_fh> ) {
    # capturing match in list context returns captured matches
    if (my ($term) = ($line =~ /^(\w+)\s+\w/)) {
        print $line if exists $words{$term};
    }
}

close $dict_fh;

sub read_words {
    my ($words, $filename) = @_;

    open my $fh, '<', $filename;
    while ( <$fh> ) {
        last unless /^(\w+)/;
        $words->{$1} = undef;
    }
    close $fh;
    return;
}

调用：

C:\Temp>lookup.pl FILE1.txt FILE2.txt > FILE3.txt

输出：

C:\Temp> 键入 FILE3.txt 蔚蓝的 adj.明亮的蓝色，如同天空 拜占庭 adj.拜占庭或E罗马帝国 n. 膀胱炎膀胱发炎 消化不良的形容词患有消化不良 艾里岛鹰巢 fuzz n.软光粒子的质量

Answer 5

FILE1 和 FILE2 最初是否已排序？如果是这样，您只需要一个循环，而不是嵌套循环：

use 5.010;
use warnings;
use strict;

my $dictFile = 'c:/FILE2.txt';
my $wordsFile = 'c:/FILE1.txt';
my $outFile = 'c:/FILE3.txt';

open my $dic, '<', $dictFile or die "Cannot open $dictFile: $!";
open my $filter, '<', $wordsFile or die "Cannot open $wordsFile: $!";
open my $learn, '>', $outFile or die "Cannot open $outFile: $!";

my $dic_line;
my $dic_word;
my $filter_word;

# loop forever (or until last'ing out of the loop, anyway)
while (1) {
    # if we don't have a word from the filter list, get one
    if ( ! defined $filter_word ) {
        # get a line from the filter file, bailing out of the loop if at the end
        $filter_word = <$filter> // last;
        # remove the newline so we can string compare
        chomp($filter_word);
    }
    # if we don't have a word from the dictionary, get one
    if ( ! defined $dic_line ) {
        # get a line from the dictionary, bailing out of the loop if at the end
        $dic_line = <$dic> // last;
        # get the first word on the line
        ($dic_word) = split ' ', $dic_line;
    }
    # if we have a match, print it
    if ( $dic_word eq $filter_word ) { print $learn $dic_line }
    # only keep considering this dictionary line if it is beyond the filter word we had
    if ( lc $dic_word le lc $filter_word ) { undef $dic_line }
    # only keep considering this filter word if it is beyond the dictionary line we had
    if ( lc $dic_word ge lc $filter_word ) { undef $filter_word }
}