在匹配的情况下，用其他文件中的相关缩写替换术语

Question

我有两个文件：
1. 图案文件 = pattern.txt
2.包含不同术语的文件=terms.txt

pattern.txt 包含两列，以;分隔
在第一列中我有几个术语，在第二列中是缩写，
关联到第一列，同一行。

terms.txt 包含单个单词和由单个单词定义的术语，但也包含
通过单词的组合。

pattern.txt

Berlin;Brln
Barcelona;Barcln
Checkpoint Charly;ChckpntChrl
Friedrichstrasse;Fridrchstr
Hall of Barcelona;HllOfBarcln
Paris;Prs
Yesterday;Ystrdy

terms.txt

Berlin  
The Berlinale ended yesterday  
Checkpoint Charly is still in Friedrichstrasse  
There will be a fiesta in the Hall of Barcelona  
Paris is a very nice city 

目标是用标准化缩写替换术语并找出哪些术语
没有缩写。
结果我想要两个文件。
第一个文件是一个新的术语文件，术语替换为可以替换的缩写词。
第二个文件包含一个列表，其中包含所有没有缩写的术语。
输出不区分大小写，我不区分“The”和“the”。

new_terms.txt

Brln  
The Berlinale ended Ystrdy  
ChckpntChrl is still in Fridrchstr  
There will be a fiesta in the HllOfBarcln  
Prs is a very nice city  

terms_without_abbreviations.txt

a  
be  
Berlinale  
city  
ended  
fiesta  
in  
is  
nice  
of  
still  
The  
There  
very  
will  

感谢您的帮助，并提前感谢您的时间和提示！

Answer 1

这主要是你需要的：

BEGIN { FS=";"; }
FNR==NR { dict[tolower($1)] = $2; next }
{
    line = "";
    count = split($0, words, / +/);
    for (i = 1; i <= count; i++) {
        key = tolower(words[i]);
        if (key in dict) {
            words[i] = dict[key];
        } else {
            result[key] = words[i];
        }
        line = line " " words[i];
    }
    print substr(line, 2);
}
END {
    count = asorti(result, sorted);
    for (i = 1; i <= count; i++) {
        print result[sorted[i]];
    }
}

Answer 2

好的，所以我有一点点破绽，但会解释问题：

1. 如果您在 pattern.txt 中有多个可能与单行相关的更改，则第一个更改将进行更改，而第二个更改不会更改（例如，巴塞罗那；Barcln 和巴塞罗那大厅；HllOfBarcln，显然如果 Barcln 已经当您获得更长的版本时已完成，它将不再存在，因此没有进行任何更改）
2. 与上面类似，“Hall”这个词没有缩写，所以如果我们假设上面是正确的并且只进行了第一次更改，那么您的新更改文件将包含 hall 没有缩写

#!/usr/bin/awk -f

BEGIN{
    FS = ";"

    IGNORECASE = 1
}

FNR == NR{
    abbr[tolower($1)] = $2
    next
}

FNR == 1{ FS = " " }

{
    for(i = 1; i <= NF; i++){
        item = tolower($i)
        if(!(item in abbr) && !(item in twa)){
            twa[item]
            print item > "terms_without_abbreviations.txt"
        }
    }

    for(i in abbr)
        gsub("\\<"i"\\>", abbr[i])

    print > "new_terms.txt"

}

可能还有其他问题需要寻找，但这是一个模糊的方向。不知道你会如何绕过我上面的观点？？