如何下载 csv 中的 URL 并根据列值命名输出

Question

1。操作系统：Linux / Ubuntu x86/x64

2。任务：

编写一个 Bash shell 脚本以下载（大）csv 中的 URL（尽可能快/同时）并在列值上命名每个输出。

2.1 示例输入：

一个包含如下行的 CSV 文件：

001,http://farm6.staticflickr.com/5342/a.jpg
002,http://farm8.staticflickr.com/7413/b.jpg
003,http://farm4.staticflickr.com/3742/c.jpg

2.2 示例输出：

文件夹中的文件，outputs，包含以下文件：

001.jpg
002.jpg
003.jpg

3。我的尝试：

我主要尝试了两种风格。

1。使用下载工具的内部支持

以ariasc 为例，它支持使用-i 选项导入要下载的URL 文件，并且（我认为）它会以最大速度并行处理它。它确实有--force-sequential 选项来强制按行顺序下载，但我没能找到一种方法来实现命名部分。

2。先拆分

将文件拆分成文件并运行如下脚本来处理它：

#!/bin/bash
INPUT=$1

while IFS=, read serino url
do 
    aria2c -c "$url" --dir=outputs --out="$serino.jpg"
done < "$INPUT"

但是，这意味着对于每一行，它将再次重新启动aria2c，这似乎既费时又降低了速度。 虽然，可以多次在 bash 命令中运行脚本以获得“shell 级”并行性，但这似乎不是最好的方法。

有什么建议吗？ 谢谢，

Answer 1

aria2c 在输入文件中支持所谓的选项行。来自man aria2c

-i, --input-file=
下载 FILE 中列出的 URI。您可以通过将多个 URI 放在由 TAB 字符分隔的单行上来为单个实体指定多个源。此外，可以在每个 URI 行之后指定选项。选项行必须以一个或多个空格字符（SPACE 或 TAB）开头，并且每行只能包含一个选项。

以后

这些选项与命令行选项中的含义完全相同，但它只适用于它所属的 URI。请注意，对于输入文件中的选项 -- 前缀必须被去除。

您可以将您的 csv 文件转换为 aria2c 输入文件：

sed -E 's/([^,]*),(.*)/\2\n  out=\1/' file.csv | aria2c -i - 

这会将您的文件转换为以下格式并在其上运行aria2c。

http://farm6.staticflickr.com/5342/a.jpg
  out=001
http://farm8.staticflickr.com/7413/b.jpg
  out=002
http://farm4.staticflickr.com/3742/c.jpg
  out=003

但是，这不会创建文件001.jpg、002.jpg，...而是001、002，...因为这是您指定的。指定带有扩展名的文件名或从 URL 中猜测扩展名。

如果扩展名总是 jpg 你可以使用

sed -E 's/([^,]*),(.*)/\2\n  out=\1.jpg/' file.csv | aria2c -i -

要从 URL 中提取扩展名，请使用

sed -E 's/([^,]*),(.*)(\..*)/\2\3\n  out=\1\3/' file.csv | aria2c -i -

警告：当且仅当每个 URL 都以扩展名结尾时才有效。例如，由于缺少扩展，001,domain.tld/abc 行根本不会被转换，导致aria2c 在“URL”001,domain.tld/abc 上失败。

Answer 2

使用所有标准实用程序，您可以并行下载：

tr '\n' ',' < file.csv |
xargs -P 0 -d , -n 2 bash -c 'curl -s "$2" -o "$1.jpg"' -

xargs 中的-P 0 选项允许它并行运行命令（每个核心处理器一个）