从 url 列表中获取完整的网页

Question

我正在寻找一些关于如何使用我的单个 url wget 脚本并从文本文件中实现 url 列表的提示。我不确定如何编写脚本 - 在循环中或以某种方式枚举它？这是我用来从一个页面收集所有内容的代码：

wget \
    --recursive \
    --no-clobber \
    --page-requisites \
    --html-extension \
    --convert-links \
    --restrict-file-names=windows \
    --domains example.com \
    --no-parent \
        http://www.example.com/folder1/folder/

它工作得非常好——我只是迷失了如何使用带有以下网址的list.txt：

http://www.example.com/folder1/folder/
http://www.example.com/sports1/events/
http://www.example.com/milfs21/delete/
...

我想这是相当简单的，但又一次永远不知道，谢谢。

Answer 1

根据wget --help：

   -i file
   --input-file=file
       Read URLs from a local or external file.  If - is specified as
       file, URLs are read from the standard input.  (Use ./- to read from
       a file literally named -.)

另一种方法是在从文件中读取列表时使用循环：

readarray -t LIST < list.txt

for URL in "${LIST[@]}"; do
    wget \
        --recursive \
        --no-clobber \
        --page-requisites \
        --html-extension \
        --convert-links \
        --restrict-file-names=windows \
        --domains example.com \
        --no-parent \
        "$URL"
done

同样可以使用while read 循环。