bash/awk：合并多个文件后删除重复的列

Question

我正在使用我的 bash 脚本中编写的以下函数，以便将许多文件（包含多列数据）合并到一个包含所有融合数据的大摘要图表中

table_fuse () {   
    paste -d'\t' "${rescore}"/*.csv >> "${rescore}"/results_2PROTS_CNE_strategy3.csv | column -t -s$'\t'
}

以两个文件为例，该例程会产生如下的拼接图作为合并的结果：

# file 1.                   # file 2
Lig dG(10V1) dG(rmsd)   Lig dG(10V2) dG(rmsd)
lig1 -6.78 0.32 lig1 -7.04 0.20
lig2 -5.56 0.14 lig2 -5.79 0.45
lig3 -7.30 0.78 lig3 -7.28 0.71
lig4 -7.98 0.44 lig4 -7.87 0.42
lig5 -6.78 0.28 lig5 -6.75 0.31
lig6 -6.24 0.24 lig6 -6.24 0.24
lig7 -7.44 0.40 lig7 -7.42 0.39
lig8 -4.62 0.41 lig8 -5.19 0.11
lig9 -7.26 0.16 lig9 -7.30 0.13

由于两个文件共享相同的第一列（Lig），如何在每个 fused 文件中删除（替换为“”）该列的所有重复，同时只保留第一列的 Lig 列CSV？

Answer 1

编辑：根据 OP 的 cmets 来覆盖文件中的 [Ll]ig 或 [Ll]ig0123 或 [Ll]ig(abcd) 格式，在此处添加以下解决方案。

awk '{first=$1;gsub(/[Ll]ig([0-9]+)?(\([-azA-Z]+\))?/,"");print first,$0}'  Input_file

---

---

考虑到您只想删除 lig(digits) 此处的重复值，您可以尝试使用 awk。

awk '{first=$1;gsub(/[Ll]ig([0-9]+)?/,"");print first,$0}' Input_file

说明：为上述添加详细说明。

awk '                   ##Starting awk program from here.
{
  first=$1              ##Setting first column value to first here.
  gsub(/[Ll]ig([0-9]+)?/,"")  ##Globally substituting L/lig digits(optional) with NULL in whole line.
  print first,$0        ##printing first and current line here.
}
' Input_file            ##mentioning Input_file name here.

Answer 2

替换重复的短语并不难。适合您的情况的具体方法取决于精确的输入文件格式；但是像

sed s/^\([^ ]*\)\( .* \)\1 /\1\2 /' file

将删除第一列中标记的任何重复。

不过，也许更好的解决方案是使用更复杂的合并工具。一个简单的 Awk 或 Python 脚本可以在合并时从每个文件中删除第一个标记，但第一个标记除外。

Answer 3

join 似乎是一个解决方案，至少对于 OP 提供的示例数据而言...

示例输入数据：

$ cat file1
Lig dG(10V1) dG(rmsd)
lig1 -6.78 0.32
lig2 -5.56 0.14
lig3 -7.30 0.78
lig4 -7.98 0.44
lig5 -6.78 0.28
lig6 -6.24 0.24
lig7 -7.44 0.40
lig8 -4.62 0.41
lig9 -7.26 0.16

$ cat file2
Lig dG(10V2) dG(rmsd)
lig1 -7.04 0.20
lig2 -5.79 0.45
lig3 -7.28 0.71
lig4 -7.87 0.42
lig5 -6.75 0.31
lig6 -6.24 0.24
lig7 -7.42 0.39
lig8 -5.19 0.11
lig9 -7.30 0.13

我们可以join这两个文件放在第一列（又名字段），如下所示：

$  join -j1 file1 file2
Lig dG(10V1) dG(rmsd) dG(10V2) dG(rmsd)
lig1 -6.78 0.32 -7.04 0.20
lig2 -5.56 0.14 -5.79 0.45
lig3 -7.30 0.78 -7.28 0.71
lig4 -7.98 0.44 -7.87 0.42
lig5 -6.78 0.28 -6.75 0.31
lig6 -6.24 0.24 -6.24 0.24
lig7 -7.44 0.40 -7.42 0.39
lig8 -4.62 0.41 -5.19 0.11
lig9 -7.26 0.16 -7.30 0.13

对于超过 2 个文件，将需要某种重复/循环方法来重复将新文件加入到混合中。