读取 unix 上的文件列表并运行命令

Question

我是 shell 脚本的新手，我整天都在努力弄清楚如何执行“for”命令。本质上，我想做的是以下几点：

我有一个包含一堆名称的 list.txt 文件：

name1
name2
name3

对于列表中的每个名称，都有两个不同的文件，每个文件的名称都有不同的结尾。例如：

name1_R1
name1_R2

我尝试运行的程序名为sickle。基本上，它需要两个文件（彼此对应）并对它们进行分析，因此需要我有这个命名方案。镰刀命令如下：

sickle pe -f input_file1.fastq -r input_file2.fastq -t sanger \

如果有人可以帮助我，至少只是告诉我如何让 unix 读取文件列表并独立处理每一行，我想我可以从那里开始。我尝试了一些方法，但都没有奏效。

Answer 1

使用while 循环和read：

while read fn; do
    <command> "${fn}_R1" "${fn}_R2"
done < list.txt

Answer 2

使用 Bash For 循环

Bash 有一个非常合理的 for 循环作为其 looping constructs 之一。您可以将下面的 echo 命令替换为您想要的任何自定义命令。例如：

for file in name1 name2 name3; do
  echo "${file}_R1" "${file}_R2"
done

想法是循环将每个文件名分配给 file 变量，然后将 _R1 和 _R2 后缀附加到它们。请注意，引用可能很重要，并且在不需要时也无害，因此您应该将其用作防御性编程措施。

对参数列表使用 xargs

如果你想从文件中读取而不是直接使用 for 循环，你可以使用 Bash 的 read builtin，但 xargs 通常更易于跨 shell。例如，以下使用来自 GNU findutils 的 xargs 版本中可用的标志从文件中读取参数，然后为每个参数附加一个后缀：

$ xargs --arg-file=list.txt --max-args=1 -I{} /bin/echo "{}_R1" "{}_R2"
name1_R1 name1_R2
name2_R1 name2_R2
name3_R1 name3_R2

同样，您可以将“echo”替换为您选择的命令行。

Answer 3

有几种方法可以做到这一点。由于数据文件中的名称是“每行一个”，我们可以假设文件名中没有换行符。

for循环

for file in $(<list.txt)
do
    sickle pe -f "${file}_file1.fastq" -r "${file}_file2.fastq" -t sanger
done

while 与 read 循环

while read file
do
    sickle pe -f "${file}_file1.fastq" -r "${file}_file2.fastq" -t sanger
done < list.txt

for 循环仅在名称中没有空格（也没有其他空白字符，如制表符）时才有效。只要名称中没有换行符，while 循环就是干净的，尽管使用 while read -r file 可以更好地防止意外情况发生。 for 循环中文件名周围的双引号是装饰性的（但无害），因为文件名不能包含空格，但 while 循环中的双引号可防止包含空格的文件名在不应拆分时被拆分。每次使用变量时引用变量通常是个好主意，但严格来说，只有当变量可能包含空格但您不希望值被拆分时才有意义。

我不得不猜测应该将哪些名称传递给 sickle 命令，因为您的问题并不清楚 — 我 99% 确定我猜错了，但它与您示例中的不同后缀匹配命令假设文件的基本名称是input。我省略了尾随反斜杠；它是 'escape' 字符，不清楚你在那里真正想要什么。