用于替换多个文本的 SED 或 AWK 脚本

Question

我正在尝试使用 sed 脚本执行以下操作，但这需要太多时间。看起来我做错了什么。

场景： 我在students.txt 中有学生记录（> 100 万）。 在这个文件中（每行）前 10 个字符是学生证，接下来的 10 个字符是联系电话等等

students.txt

10000000019234567890XXX...
10000000029325788532YYY...
.
.
.
10010000008766443367ZZZZ...

我有另一个文件 (encrypted_contact_numbers.txt)，其中包含除号码以外的所有电话以及相应的加密电话号码，如下所示

encrypted_contact_numbers.txt

Phone_Number、Encrypted_Phone_Number

9234567890, 1122334455
9325788532, 4466742178
.
.
.
8766443367, 2964267747

我想用encrypted_contact_numbers.txt中对应的加密电话号码替换students.txt中的所有联系号码（第11-20位）。

预期输出：

10000000011122334455XXX...
10000000024466742178YYY...
.
.
.
10010000002964267747ZZZZ...

我正在使用下面的 sed 脚本来执行此操作。它运行良好，但速度太慢。

方法一：

while read -r pattern replacement; do   
    sed -i "s/$pattern/$replacement/" students.txt
done < encrypted_contact_numbers.txt

方法2：

sed 's| *\([^ ]*\) *\([^ ]*\).*|s/\1/\2/g|' <encrypted_contact_numbers.txt |
sed -f- students.txt > outfile.txt

有什么方法可以快速处理这个巨大的文件？

更新：2018 年 2 月 9 日

如果电话号码在指定位置（第 10-20 列），AWK 和 Perl 中给出的解决方案工作正常，如果我尝试进行全局替换，则需要花费太多时间来处理。有没有最好的方法来实现这一点？

students.txt：更新版本

10000000019234567890XXX...9234567890
10000000029325788532YYY...
.
.
.
10010000008766443367ZZZZ9234567890...

Answer 1

awk 来救援！

如果您有足够的内存将 phone_map 文件保存在内存中

awk -F', *' 'NR==FNR{a[$1]=$2; next}
                    {key=substr($0,11,20)}
           key in a {$0=substr($0,1,10) a[key] substr($0,21)}1' phone_map data_file

未测试，因为您缺少数据文件。它应该会加快速度，因为这两个文件只会被扫描一次。

Answer 2

关注awk 可能对您有所帮助。

awk '
FNR==NR{
  sub(/ +$/,"");
  a[$1]=$2;
  next
}
(substr($0,11,10) in a){
  print substr($0,1,10) a[substr($0,11,10)] substr($0,21)
}
' FS=", " encrypted_contact_number.txt students.txt

输出如下。很快就会添加解释。

10000000011122334455XXX...
10000000024466742178YYY...

Answer 3

如果没有 Perl 答案，什么问题会是完整的？ :) 改编自本主题Perl Monks' discussion 中的各种答案。

编辑源

根据@Borodin 的评论编辑。附上一些内联的cmets进行说明，希望对大家有所帮助。

#!/usr/bin/env perl

use strict;     # keep out of trouble
use warnings;   # ditto

my %numbers;    # map from real phone number to encrypted phone number

open(my $enc, '<', 'encrypted_contact_numbers.txt') or die("Can't open map file");
while(<$enc>) {
    s{\s+}{}g;                               #remove all whitespace
    my ($regular, $encrypted) = split ',';
    $numbers{$regular} = $encrypted;
}

# Make a regex that will match any of the numbers of interest
my $number_pattern = join '|', map quotemeta, keys %numbers;
$number_pattern = qr{$number_pattern}o;
    # Compile the regex - we no longer need the string representation

while(<>) {     # process each line of the input
    next unless length > 1;     # Skip empty lines (don't need this line if there aren't any in your input file)
    substr($_, 10, 10) =~ s{($number_pattern)}{$numbers{$1}}e;
    # substr: replace only in columns 11--20
    # Replacement (s{}{}e): the 'e' means the replacement text is perl code.
    print;  # output the modified line
}

测试

在 Perl v5.22.4 上测试。

encrypted_contact_numbers.txt：

9234567890, 1122334455
9325788532, 4466742178

students.txt：

aaaaaaaaaa9234567890XXX...
bbbbbbbbbb9325788532YYY...
cccccccccc8766443367ZZZZ...
dddddddddd5432112345Nonexistent phone number

（为便于阅读而修改）

输出来自./process.pl students.txt：

aaaaaaaaaa1122334455XXX...
bbbbbbbbbb4466742178YYY...
cccccccccc8766443367ZZZZ...
dddddddddd5432112345Nonexistent phone number

对前两行进行了更改，但不是后两行，这对于此输入是正确的。