比较两个文件之间的文本时如何忽略大小写、空格和空行

Question

所以我写了一个脚本来比较两个文件

所以我的文件是 文件1：

This is line 1.
This is line 2.
This is line 3.
This is line 4.
This is line 5.

文件 2：

this is line 1,aaa
this is line 2,bbb
this is line 3,ccc

所以我的代码所做的是查找逗号前面的句子（在 file2 中）是否存在于文件中，如果存在，则将其替换为逗号后面的句子。

这是我的代码

awk -F'"(,")?' '
NR==FNR { r[$2] = $3; next }
{ for (n in r) gsub(n, r[n]) } 1' file2.csv file1.csv>output.csv

所以我的 output.csv 应该如下所示：

aaa
bbb
ccc
This is line 4.
This is line 5.

只要文件和空格中的大小写不匹配，此代码就可以正常工作。 所以在比较时，我希望它以不区分大小写的方式进行比较并修剪空格。 例如：

When comparing:
file1:
thisisline1.
thisisline2.
thisisline3. etc

并且输出应该是原始格式

This is line 1.

我正在寻找的是即时修剪和小写转换

编辑：使这个问题关于修剪部分更清楚。 我已经写好了代码：

cat file2.csv|tr -s ' '>file3.csv

它的作用是将多个空格合并为一个 所以

This is line 1.

与

相同

This   is line 1.

但是如果存在带有一个或多个空格的空行，就会出现问题 例如：

this is line 1,aaa
this is line 2,bbb
(blank line but with space)
this is line 3,ccc
this is line 4.
this is line 5. 

所以当我先使用我的 awk 命令然后使用修剪功能时，它会失败。 所以即使有了这个文件，我的输出也应该是

aaa
bbb
ccc
This is line 4.
This is line 5.

Answer 1

$ cat tst.awk
{
    key = tolower($0)
    gsub(/[[:space:]]+/," ",key)
}
NR==FNR {
    val = $0
    sub(/,[^,]+$/,"",key)
    sub(/.*,/,"",val)
    key2val[key"."] = val
    next
}
{ print (key in key2val ? key2val[key] : $0) }

$ awk -f tst.awk file2 file1
aaa
bbb
ccc
This is line 4.
This is line 5.

Answer 2

如果你正在考虑 Perl，你可以使用下面的

> cat anuj_f2 
this is line 1,aaa
this is line 2,bbb
this is line 3,ccc
> cat anuj_f1
This is line 1.
This is line 2.
This is line 3.
This is line 4.
This is line 5.
> perl -F"," -lane ' $kv{lc $F[0]."."}=$F[1] if $ARGV eq "anuj_f2"; if( $ARGV eq "anuj_f1" ) {s/$_/$kv{lc $_}?$kv{lc $_}:$_/ige;print } ' anuj_f2 anuj_f1
aaa
bbb
ccc
This is line 4.
This is line 5.
> 

Answer 3

请用tolow检查一下

awk -F'"(,")?' '
NR==FNR { r[$2] = $3; next }
{ for (n in r) gsub(tolower(n), tolower(r[n])) } 1' file2.csv file1.csv>output.csv

你也可以使用

IGNORECASE=1

Reference