如何遍历文件的每一行 *inside* 的逗号分隔列表？

Question

需要在 bash-script 中编写一些状态检查器：

有这样的字符串文件：

domain.com; 111.111.111.111,222.222.222.222; /link/to/somefile.js,/link/to/somefile2.js
domain2.com; 122.122.111.111,211.211.222.222; /link/to/somefile2.js,/link/to/somefile3.js

总共需要执行这样的命令：

curl -s -I -H 'Host: domain.com' http://111.111.111.111/link/to/somefile.js
curl -s -I -H 'Host: domain.com' http://222.222.222.222/link/to/somefile.js

curl -s -I -H 'Host: domain.com' http://111.111.111.111/link/to/somefile2.js
curl -s -I -H 'Host: domain.com' http://222.222.222.222/link/to/somefile2.js

curl -s -I -H 'Host: domain2.com' http://122.122.111.111/link/to/somefile2.js
curl -s -I -H 'Host: domain2.com' http://211.211.222.222/link/to/somefile2.js

curl -s -I -H 'Host: domain2.com' http://122.122.111.111/link/to/somefile3.js
curl -s -I -H 'Host: domain2.com' http://211.211.222.222/link/to/somefile3.js

问题是：

1. 我需要使用什么工具才能得到这样的结果？
2. 也许 xargs 带有一些参数/标志可以做到这一点，或者 gnu parallel？
3. 能否请您举例说明？

我可以分隔行并将结果设置为不同的变量，这根本不是问题：

domain=$(cut -d';' -f1 file| xargs -I N -d "," echo curl -H) \'N\'
ip=$(cut -d';' -f2 file| xargs -I N -d "," echo curl -H) \'N\'
and else

但其他问题:)： 在将字符串分隔和分隔为变量之后，如何在这种情况下使用不同的变量执行 curl - 不同变量的参数数量会不同？

得到 Barmar 的答案根本不包括任务问题，因为它有两个以上的列表。问题不在于对 bash 的无知，而是我可以解决问题的方式

Answer 1

#!/usr/bin/env bash
#              ^^^^- IMPORTANT: not /bin/sh

# print command instead of running it, so people can test their answers without real URLs
log_command() { printf '%q ' "$@"; printf '\n'; }

while IFS='; ' read -r domain addrs_str files_str; do
  IFS=, read -a addrs <<<"$addrs_str"
  IFS=, read -a files <<<"$files_str"
  for file in "${files[@]}"; do
    for addr in "${addrs[@]}"; do
      log_command curl -s -I -H "Host: $domain" "http://$addr/$file"
    done
  done
done

...作为输出发出（如果删除了log_command 前缀，它将作为命令列表运行）：

curl -s -I -H Host:\ domain.com http://111.111.111.111//link/to/somefile.js 
curl -s -I -H Host:\ domain.com http://222.222.222.222//link/to/somefile.js 
curl -s -I -H Host:\ domain.com http://111.111.111.111//link/to/somefile2.js 
curl -s -I -H Host:\ domain.com http://222.222.222.222//link/to/somefile2.js 
curl -s -I -H Host:\ domain2.com http://122.122.111.111//link/to/somefile2.js 
curl -s -I -H Host:\ domain2.com http://211.211.222.222//link/to/somefile2.js 
curl -s -I -H Host:\ domain2.com http://122.122.111.111//link/to/somefile3.js 
curl -s -I -H Host:\ domain2.com http://211.211.222.222//link/to/somefile3.js 

...正如您在https://ideone.com/dTC8q8 看到的那样

---

现在这是如何工作的？

• 第 1 步：将每一行读入 domain、addrs_str 和 files_str，用分号和空格分隔。

  这就是IFS='; ' read -r domain addrs_str files_str 行所做的，它的操作方式如BashFAQ #1 和How to read variables from file, with multiple variables per line? 中所述

• 第 2 步：对于 addrs_str 和 files_str，用逗号将它们拆分为单独的数组。这在How do I split a string on a delimiter in Bash? 中有描述
• 第 3 步：遍历这些数组，并为每个组合调用 curl。如果你想只用第一个文件调用第一个IP，用第二个文件调用第二个IP，你可以使用Iterate over two arrays simultaneously in bash；否则，它就是一个普通的嵌套循环。

Answer 2

使用 GNU Parallel，它看起来像这样

doit() {
  domain="$1"
  ips="$2"
  paths="$3"
  parallel --dry-run -d ',' -q curl -s -I -H Host:\ "$domain" http://{1}/{2} ::: "$ips" ::: "$paths"
}
export -f doit
parallel --colsep ';' doit :::: input.file

当您确信 --dry-run 有效时删除它。