【问题标题】:wget all files from folder skip first 10000 files or sowget 文件夹中的所有文件跳过前 10000 个文件左右
【发布时间】:2012-03-16 07:17:56
【问题描述】:

我正在将文件从一台服务器上的文件夹传输到另一台服务器,并且我正在使用 wget 来执行此操作。 但问题是 wget 被终止,当我重新运行命令时,它从第一个文件开始,虽然我使用 -nc 跳过存在的文件,但它仍然遍历所有文件,然后跳过那些存在的文件,所以它也需要跳过文件有很多时间。

我想知道有没有办法让 wget 直接从新文件开始下载,而不是从顶部检查每个文件。

我希望我已经把我的问题说清楚了。如果不能,请原谅我。

这是我正在使用的命令: wget -H -r --level=1 -k -p -nc http://www.example.com/images/

【问题讨论】:

    标签: file wget transfer


    【解决方案1】:

    您可以尝试使用拒绝列表来跳过已下载的文件。

    如果你所有的文件都在同一个目录下,它可以很简单:

    wget -R "`ls -1 | tr "\n" ,`" <your own options>
    

    我不确定部分下载会发生什么。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2014-09-15
      • 1970-01-01
      • 1970-01-01
      • 2020-05-06
      • 2019-01-02
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多