【问题标题】:How to download all images from a website using wget?如何使用 wget 从网站下载所有图像?
【发布时间】:2013-12-05 15:07:39
【问题描述】:

这是我的命令示例:

wget -r -l 0 -np -t 1 -A jpg,jpeg,gif,png -nd --connect-timeout=10 -P ~/support --load-cookies cookies.txt "http://support.proboards.com/" -e robots=off

Based on the input here

但实际上并没有下载任何内容,没有递归爬取,只需几秒钟即可完成。我正在尝试备份论坛中的所有图片,论坛结构是否会导致问题?

【问题讨论】:

标签: image wget forum


【解决方案1】:
wget -r -P /download/location -A jpg,jpeg,gif,png http://www.site.here

像魅力一样工作

【讨论】:

  • 在我的情况下,这仅下载 robots.txt 文件
  • 如果您只获得 robots.txt,那么您可以将 '-e robots=off --wait 1 site.here ' 附加到 wget 命令中。这将覆盖 robots.txt 文件并获取您正在查找的内容。例如:wget -r -P /download/location -A jpg,jpeg,gif,png -e robots=off --wait 1 site.here
【解决方案2】:

使用其他名称下载图像文件。 这里我提供如下所示的 wget.zip 文件名。

# wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz
--2012-10-02 11:55:54--  http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz
Resolving ftp.gnu.org... 208.118.235.20, 2001:4830:134:3::b
Connecting to ftp.gnu.org|208.118.235.20|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 446966 (436K) [application/x-gzip]
Saving to: wget.zip
100%[===================================================================================>] 446,966     60.0K/s   in 7.5s
2012-10-02 11:56:02 (58.5 KB/s) - wget.zip

【讨论】:

    猜你喜欢
    • 2016-12-31
    • 1970-01-01
    • 2012-02-04
    • 1970-01-01
    • 1970-01-01
    • 2022-06-14
    • 2013-08-26
    • 1970-01-01
    • 2023-03-15
    相关资源
    最近更新 更多