为什么在 bash 中使用 awk，如 Excel 中的 vlookup 会给出空输出文件？

Question

awk 的用途对我来说仍然不清楚，但我知道它会对我想要的有用。

我有两个文件，都是制表符分隔的：

transcriptome.txt（十亿行）：

 >TRINITY_DN261_c0_g1_i1    GATATTTATCCGAATATTCAATATGAT
 >TRINITY_DN299_c0_g1_i1    GGACACGGGCCTCAAGCCAAGTCAAAACCACCACAAAG
 >TRINITY_DN216_c0_g1_i1    GTTCAATATTCAATGACTGAAGGGCCCGCTGATTTTCCCCTATAAA
 >TRINITY_DN220_c0_g1_i1    GGGAGATAATAACAATGATAACACACAAAATTCCAATG

selected_genes.txt（千行）：

 >TRINITY_DN261_c0_g1_i1    1
 >TRINITY_DN220_c0_g1_i1    0

我想要这个输出（selected_genes.txt 的第一列和transcriptome.txt 的第二列）：

 >TRINITY_DN261_c0_g1_i1    GATATTTATCCGAATATTCAATATGAT
 >TRINITY_DN220_c0_g1_i1    GGGAGATAATAACAATGATAACACACAAAATTCCAATG

通常我在 Excel 中使用vlookup 函数。 我尝试使用awk 获得我的结果，就像在许多线程中一样（stackexchange1、stackexchange2、stackoverflow1、stackoverflow2、stackoverflow3 等..）

所以我尝试使用来自这些线程的建议，但我的输出要么是空白，要么只是我的 selected_genes.txt 文件的副本。

我查了一下，我的 2 个文件在 UTF-8 和 CRLF。还有，

awk '{print $1}' `transcriptome.txt`
awk '{print $1}' `selected_genes.txt`

把我文件的第一列给我，所以问题不是来自他们。

这是我尝试过的：

awk -F, 'FNR==NR {a[$1]=$1; next}; $1 in a {print a[$2]}' selected_genes.txt transcriptome.txt > output.txt
# Blank result

awk -F 'FNR==NR{var[$1]=$1;next;}{print var[$1]FS$2}' selected_genes.txt transcriptome.txt > output.txt
# Blank result

awk 'NR == FNR{a[$1] = $2;next}; {print $1, $1 in a?a[$1]: "NA"}' selected_genes.txt transcriptome.txt > output.txt
# Print only transcriptome.txt with first column and NAs

awk -F, 'FNR==NR{var[$1]=$1}FNR!=NR{print(var[$2]","$1)}' selected_genes.txt transcriptome.txt > output.txt
# Print only selected_genes.txt

我没有达到产生想要的输出。 任何解释我的代码有什么问题的建议都将不胜感激。

Answer 1

Awk 经典。将 数千行 基因文件散列到一个哈希 (a) 中，以免浪费所有内存并从 数十亿行 转录组文件中查找 $1：

$ awk '
    # { sub(/\r$/,"") }    # uncomment to remove Windows style line-endings.
    NR==FNR{a[$1]          # hash $1 of genes file to a
    next
}
($1 in a) {                # lookup from transcriptome
    print
}' genes transcriptome     # mind the order
>TRINITY_DN261_c0_g1_i1    GATATTTATCCGAATATTCAATATGAT
>TRINITY_DN220_c0_g1_i1    GGGAGATAATAACAATGATAACACACAAAATTCCAATG

Answer 2

你的代码：

awk -F, 'FNR==NR{a[$1]=$1; next}; $1 in a {print a[$2]}' 

由于您尝试打​​印不存在的a[$2]，因此无法正常工作。

改成

awk -F, 'FNR==NR{a[$1]; next} $1 in a' selected_genes.txt transcriptome.txt 

这应该会给你预期的输出

第二个表达式是($1 in a) {print $0}的简写

Answer 3

盒子里有一个比awk 更好的工具，用于在公共字段上进行这种文件合并，尤其是对于大文件：join(1)

$ join -t $'\t' -11 -21 -o 0,2.2 \
   <(sort -t $'\t' -k1,1 selected_genes.txt) \
   <(sort -t $'\t' -k1,1 transcriptome.txt)
>TRINITY_DN220_c0_g1_i1 GGGAGATAATAACAATGATAACACACAAAATTCCAATG
>TRINITY_DN261_c0_g1_i1 GATATTTATCCGAATATTCAATATGAT

唯一需要注意的是，要连接的文件必须在连接列上排序，因此使用sort。

在数据库术语中，它对两个文件执行INNER JOIN - 对于第一个文件的每一行，第二个文件中具有匹配连接列的每一行都会产生一行输出。 -o 0,2.2 使这些行成为连接列和第二个文件的第二列。

---

另一个有趣的选择：

$ grep -F -f <(sed -e 's/[^\t]*$//' selected_genes.txt) transcriptome.txt 
>TRINITY_DN261_c0_g1_i1 GATATTTATCCGAATATTCAATATGAT
>TRINITY_DN220_c0_g1_i1 GGGAGATAATAACAATGATAACACACAAAATTCCAATG

very efficiently 将仅显示 transcriptome.txt 中的行，其中 selected_genes.txt 中的行的第一列出现在其中。在我的测试中，这比其他方法快很多。