【问题标题】:Faster grep function for big (27GB) files大 (27GB) 文件的更快 grep 函数
【发布时间】:2013-01-14 04:58:39
【问题描述】:

我必须从包含特定字符串的文件 (5MB) 中 grep 与大文件 (27GB) 中的相同字符串(和其他信息)。 为了加快分析速度,我将 27GB 文件拆分为 1GB 文件,然后应用以下脚本(这里有一些人的帮助)。但是效率不是很高(生成一个 180KB 的文件需要 30 个小时!)。

这是脚本。有没有比 grep 更合适的工具?还是更高效的 grep 使用方式?

#!/bin/bash

NR_CPUS=4
count=0


for z in `echo {a..z}` ;
do
 for x in `echo {a..z}` ;
 do
  for y in `echo {a..z}` ;
  do
   for ids in $(cat input.sam|awk '{print $1}');  
   do 
    grep $ids sample_"$z""$x""$y"|awk '{print $1" "$10" "$11}' >> output.txt &
    let count+=1
                                [[ $((count%NR_CPUS)) -eq 0 ]] && wait
   done
  done #&

【问题讨论】:

  • input.sam 是 5Mb 文件,sample_??? 是 1Gb 文件? sample_??? 文件似乎是 27^3 = 19683 文件,而不仅仅是 27 个。
  • 另外,还有一些旁注。 Bash 已经扩展了{a..z},你不需要echo 它:for x in {a..z}。您可以重定向输入,而不是生成 cat,使其读取文件,将其写入管道,然后让 awk 从管道读取:for ids in $(awk '...' < input.sam)。在同一行中,将awk 替换为cut 可能是一种改进,因为cut 更简单。事实上,将特定循环移到顶部会更有效,因为您会多次重复该昂贵的操作,即使最终结果始终相同。
  • 另外,注意不同线程中的>> output.txt。确保它是安全的(我不知道它是否安全)。如果没有,也许他们每个人都重定向到一个output-cpuid.txt 文件并最后连接他们四个是个好主意。
  • 最后,由于您的操作是 I/O 繁重的,将其划分为线程实际上可能不会提高性能。如果有的话,它甚至可能使情况变得更糟,因为您会有更多随机磁盘读取请求。
  • @Shahbaz 我会将以上所有内容连接成一个答案,因为这都是好东西

标签: file bash awk grep


【解决方案1】:

您可以尝试一些事情:

1) 您正在多次阅读input.sam。它只需要在您的第一个循环开始之前读取一次。将 ID 保存到一个临时文件中,grep 将读取该文件。

2) 在您的 grep 命令前加上 LC_ALL=C 以使用 C 语言环境而不是 UTF-8。这将加快grep。

3) 使用fgrep,因为您搜索的是固定字符串,而不是正则表达式。

4) 使用-f 使grep 从文件中读取模式,而不是使用循环。

5) 不要从多个进程写入输出文件,因为您最终可能会遇到行交错和损坏的文件。

进行这些更改后,您的脚本会变成这样:

awk '{print $1}' input.sam > idsFile.txt
for z in {a..z}
do
 for x in {a..z}
 do
  for y in {a..z}
  do
    LC_ALL=C fgrep -f idsFile.txt sample_"$z""$x""$y" | awk '{print $1,$10,$11}'
  done >> output.txt

另外,请查看 GNU Parallel,它旨在帮助您并行运行作业。

【讨论】:

  • 它有效!!!!!!!!!现在只需要几秒钟而不是几天!!!我该怎么说谢谢??!?!?
  • @dogbane:生成 27^3=19683 次 fgrep 似乎效率不高。将LC_ALL ..... | awk ... 行更改为:echo "sample_${z}${x}${y}" | LC_ALL=C xargs fgrep -f idsFile.txt | awk '{print $1,$10,$11}':这样只会生成 1 个 fgrep 和 1 个 awk。将 fgrep 更改为 egrep 也可能会加快速度!由于 egrep 的某些实现使用有限状态自动机“编译”正则表达式,因此在查找多个正则表达式时大大加快了速度。特别是对于大文件(因为将所有正则表达式编译成自动机的时间只需一次,大文件上的 grep 会更快)
  • 模式 (-f) 不好 ;) fam.tuwien.ac.at/~schamane/_/…。我想知道 grep 27GB 文件需要几秒钟,我可以知道这到底是多少秒吗?
  • 如何为 m 表达式 grep n 行的描述:gnu.org/software/parallel/…
  • @AdamKatz : 在那里查看一些证据:swtch.com/~rsc/regexp/regexp1.html (但正如您所注意到的,也许它在常规 grep 和 GNU grep 之间有所不同?)
【解决方案2】:

我最初的想法是你反复生成grep。生成进程非常昂贵(相对而言),我认为您最好使用某种不需要持续创建进程的脚本解决方案(例如 Perl)

例如对于您要启动的每个内部循环 cat 和 awk (您不需要 cat 因为 awk 可以读取文件,实际上这不是 cat/awk 组合返回每次都一样?)然后grep。然后你等待 4 greps 完成,然后你再四处走动。

如果非要使用grep,可以使用

grep -f filename

指定要在文件名中匹配的模式集,而不是命令行上的单个模式。我怀疑从上面你可以预先生成这样一个列表。

【讨论】:

    【解决方案3】:

    好的,我有一个包含 4 个字符串的测试文件,即 aaaa aaab aaac 等

    ls -lh test.txt
    -rw-r--r-- 1 root pete 1.9G Jan 30 11:55 test.txt
    time grep -e aaa -e bbb test.txt
    <output>
    real    0m19.250s
    user    0m8.578s
    sys     0m1.254s
    
    
    time grep --mmap -e aaa -e bbb test.txt
    <output>
    real    0m18.087s
    user    0m8.709s
    sys     0m1.198s
    

    因此,使用 mmap 选项可以明显改善具有两种搜索模式的 2 GB 文件,如果您采纳 @BrianAgnew 的建议并使用一次 grep 调用,请尝试使用 --mmap 选项。

    虽然应该注意,如果源文件在搜索过程中发生变化,mmap 可能会有点古怪。 来自man grep

    --mmap

    如果可能,使用 mmap(2) 系统调用来读取输入,而不是默认的 read(2) 系统调用。在某些情况下, --mmap 会产生更好的性能。但是,如果输入文件在 grep 运行时缩小,或者发生 I/O 错误,--mmap 可能会导致未定义的行为(包括核心转储)。

    【讨论】:

    • 这是 5% 的改进吗?
    • --mmap 是 hot stuff 几年前,但不再需要它。它自 grep 2.5.4 (2009) 以来已被弃用,并且 自 2.7 (2010) 以来一直是空操作。今天,grep(2.22 版)甚至无法识别该选项。资源稀缺,但我使用了 grep 2.14、GNU's d/l archives 和 Red Hat Bug 1291714 的文档。
    【解决方案4】:

    使用 GNU Parallel 它看起来像这样:

    awk '{print $1}' input.sam > idsFile.txt
    doit() {
       LC_ALL=C fgrep -f idsFile.txt sample_"$1" | awk '{print $1,$10,$11}'
    }
    export -f doit
    parallel doit {1}{2}{3} ::: {a..z} ::: {a..z} ::: {a..z} > output.txt
    

    如果行的顺序不重要,这会更快一些:

    parallel --line-buffer doit {1}{2}{3} ::: {a..z} ::: {a..z} ::: {a..z} > output.txt
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2013-10-23
      • 2011-12-31
      • 2014-10-08
      • 2015-08-07
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多