【发布时间】:2013-01-14 04:58:39
【问题描述】:
我必须从包含特定字符串的文件 (5MB) 中 grep 与大文件 (27GB) 中的相同字符串(和其他信息)。 为了加快分析速度,我将 27GB 文件拆分为 1GB 文件,然后应用以下脚本(这里有一些人的帮助)。但是效率不是很高(生成一个 180KB 的文件需要 30 个小时!)。
这是脚本。有没有比 grep 更合适的工具?还是更高效的 grep 使用方式?
#!/bin/bash
NR_CPUS=4
count=0
for z in `echo {a..z}` ;
do
for x in `echo {a..z}` ;
do
for y in `echo {a..z}` ;
do
for ids in $(cat input.sam|awk '{print $1}');
do
grep $ids sample_"$z""$x""$y"|awk '{print $1" "$10" "$11}' >> output.txt &
let count+=1
[[ $((count%NR_CPUS)) -eq 0 ]] && wait
done
done #&
【问题讨论】:
-
input.sam是 5Mb 文件,sample_???是 1Gb 文件?sample_???文件似乎是27^3 = 19683文件,而不仅仅是 27 个。 -
另外,还有一些旁注。 Bash 已经扩展了
{a..z},你不需要echo它:for x in {a..z}。您可以重定向输入,而不是生成cat,使其读取文件,将其写入管道,然后让awk从管道读取:for ids in $(awk '...' < input.sam)。在同一行中,将awk替换为cut可能是一种改进,因为cut更简单。事实上,将特定循环移到顶部会更有效,因为您会多次重复该昂贵的操作,即使最终结果始终相同。 -
另外,注意不同线程中的
>> output.txt。确保它是安全的(我不知道它是否安全)。如果没有,也许他们每个人都重定向到一个output-cpuid.txt文件并最后连接他们四个是个好主意。 -
最后,由于您的操作是 I/O 繁重的,将其划分为线程实际上可能不会提高性能。如果有的话,它甚至可能使情况变得更糟,因为您会有更多随机磁盘读取请求。
-
@Shahbaz 我会将以上所有内容连接成一个答案,因为这都是好东西