在 Linux 上使用列名 = 文件名将多个文件中的列添加到新文件中

Question

我有多个具有 .profile 扩展名的 6 列文件。每个文件的前 3 列是相同的。我希望输出文件包含前 3 个（类似）列，然后从每个文件中附加第六列。附加到输出文件的列名应与输入文件相同。输入文件是这样的

 FID       IID  PHENO    CNT   CNT2    SCORE
  00010   0001002      2     12      2 -0.00285
  00017   0001702      2     12      2 -0.00285

另一个输入文件如下所示

FID       IID  PHENO    CNT   CNT2    SCORE
  00010   0001002      2     28      9 -0.00843036
  00017   0001702      2     28      9 0.00710286

这两个文件的名称分别是“Artery_Aorta.ENSG00000000460.12.wgt.RDat.txt.profile”和“Artery_Aorta.ENSG00000000971.11.wgt.RDat.txt.profile”。我希望我的输出文件看起来像

FID       IID  PHENO  ENSG00000000460.12  ENSG00000000971.11
  00010   0001002    2   -0.00285   -0.00843036
  00017   0001702    2   -0.00285     0.00710286

到现在我都试过了

paste *.profile | awk '{print $1, $2, $3, $6, $6 + 6}'

但输出不如预期。它将 6 加到 $6 中的值。但是，我想打印在输出文件中附加了前列的第六列。输出文件如下所示

FID IID PHENO SCORE 6
00010 0001002 2 -0.00843036 5.99157
00017 0001702 2 0.00710286 6.0071

谁能帮我解决这个问题？

Answer 1

假设您的输入文件是制表符分隔的，并且第一列前面没有这些前导空格，则以下脚本会生成您预期的输出：

#! /bin/bash
merge() {
    cols=$(seq -s, 6 6 $(("$#" * 6)))
    header=$(grep -o 'ENSG[0-9]*.[0-9]*' <<< "$*" | paste -s)
    paste "$@" | cut -f1-3,"$cols" | sed "1s/SCORE.*/$header/"
}
merge Artery_Aorta.*

Answer 2

如果您需要从每个输入文件中添加第 6 列并按您的输入排序，则使用 AWK 解决方案：

awk '
(NR==FNR) { arro[++order]=$1 FS $2 FS $3; arr[$1 FS $2 FS $3]=$6; }
(NR!=FNR) { arr[$1 FS $2 FS $3]=arr[$1 FS $2 FS $3] FS $6; }
END { for (i=1;i<=order;i++) print(arro[i] FS arr[arro[i]]); }
' *.profile

输出：

FID IID PHENO SCORE SCORE
00010 0001002 2 -0.00285 -0.00843036
00017 0001702 2 -0.00285 0.00710286

输入：

$ ls *.profile
Artery_Aorta.ENSG00000000460.12.wgt.RDat.txt.profile  Artery_Aorta.ENSG00000000971.11.wgt.RDat.txt.profile

这里的每个评论请求是用文件名子字符串替换添加的列的解决方案：

awk '
(FNR==1) {match(FILENAME,/ENSG[0-9]+\.[0-9]+/); $6=substr(FILENAME,RSTART,RLENGTH);}
(NR==FNR) { arro[++order]=$1 FS $2 FS $3; arr[$1 FS $2 FS $3]=$6; }
(NR!=FNR) { arr[$1 FS $2 FS $3]=arr[$1 FS $2 FS $3] FS $6; }
END { for (i=1;i<=order;i++) print(arro[i] FS arr[arro[i]]); }
' *.profile

输出：

FID IID PHENO ENSG00000000460.12 ENSG00000000971.11
00010 0001002 2 -0.00285 -0.00843036
00017 0001702 2 -0.00285 0.00710286