bash中的一个for循环中的两个变量

Question

我有一个目录，里面有两种文件类型：*.sai 和 *fastq，我想在一个 shell 循环中使用这两个变量：

for j in *sai *fastq

 do bwa samse $j $j > ${j%.sai}.sam 

done;

在命令do 之后，我想将相应的 *.sai 和 *.fastq 数据加载到程序中（bwa samse）。你能帮我语法吗？

示例：

一个目录下是xx.fast xx.sai yy.fastq yy.sai，程序bwa samse需要一次性处理两个对应的文件-bwa samse xx.fastq xx.sai...

非常感谢您的任何想法。

Answer 1

尝试使用 bash parameter expansion 执行此操作：

for j in .*sai; do  
    [[ -s ${j%.sai}.fastq ]] &&
        bwa samse "$j" "${j%.sai}.fastq" > "${j%.sai}.sam"     
done

请停止通过解析ls 输出来杀死小猫。 （不适合你Incorigible）

Answer 2

尽量不要使用ls 来提供循环。使用大括号扩展在循环中只包含*.sai 和*.fastq 文件：

for j in ./*.{sai,fastq}
do
    ## do what you need to the *.sai & *.fastq files 
done

您还可以提供路径变量：

mypath=/path/to/files
for j in "${mypath}"/*.{sai,fastq}
(snip)

注意：不知道bwa samse $j $j > ${j%\.*}.sam 做了什么。解释您需要如何处理这些文件，我可以提供进一步的帮助..

如果存在一对一关系（匹配 .sai 和 .fastq 文件），则只需：

for j in ./*.sai
do
    fname="${j%.*}"   # remove the extension ($fname is filename w/o ext)
    ## do what you need to the *.sai & *.fastq files 
    #  bwa samse "${fname}.sai" "${fname}.fastq" whatever else
done

Answer 3

使用 GNU Parallel 它看起来像这样：

parallel bwa samse ref.fasta {} {.}.fastq '>' {.}.sam  ::: *.sai   

GNU Parallel 是一种通用的并行化器，可以轻松地在同一台机器上或在您可以通过 ssh 访问的多台机器上并行运行作业。它通常可以替换 for 循环。

如果您想在 4 个 CPU 上运行 32 个不同的作业，那么并行化的直接方法是在每个 CPU 上运行 8 个作业：

GNU Parallel 会在完成后生成一个新进程 - 保持 CPU 处于活动状态，从而节省时间：

安装

如果没有为您的发行版打包 GNU Parallel，您可以进行个人安装，这不需要 root 访问权限。这样做可以在 10 秒内完成：

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

有关其他安装选项，请参阅http://git.savannah.gnu.org/cgit/parallel.git/tree/README

了解详情

查看更多示例：http://www.gnu.org/software/parallel/man.html

观看介绍视频：https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

浏览教程：http://www.gnu.org/software/parallel/parallel_tutorial.html

注册电子邮件列表以获得支持：https://lists.gnu.org/mailman/listinfo/parallel

Answer 4

（已编辑以反映 cmets——无需使用 ls 列出文件名）

要去除文件扩展名，您需要使用${j%\.*}，它将保留最后一个.之前的所有字符

for j in *.sai *.fastq
do
    bwa samse $j $j > ${j%\.*}.sam 
done;