我需要从某个域下载所有 pdf 文件。该域上大约有 6000 个 pdf，其中大多数没有 html 链接（他们已经删除了链接，或者他们从未将链接放在首位）。
我知道大约有 6000 个文件，因为我正在谷歌搜索：filetype:pdf site:*.adomain.com
但是，Google 只列出前 1000 个结果。我相信有两种方法可以实现这一点：
a) 使用谷歌。但是，我如何从 Google 获得所有 6000 个结果？也许是刮刀？ （试过 scroogle，没有运气） b) 跳过谷歌并直接在域上搜索 pdf 文件。当大多数它们没有链接时，我该怎么做？
【问题讨论】：
如果文件的链接已被删除，并且您没有列出目录的权限，则基本上不可能知道哪个 URL 后面有一个 pdf 文件。
如果您认为过去存在指向文件的链接，您可以查看 http://www.archive.org 并查找页面的先前状态。
要递归检索网站上提到的所有 pdf，我推荐使用 wget。来自http://www.gnu.org/software/wget/manual/html_node/Advanced-Usage.html#Advanced-Usage 的示例
您想从 http 服务器上的目录下载所有 gif。您尝试了“wget http://www.server.com/dir/*.gif”，但没有成功，因为 http 检索不支持 globbing。在这种情况下，请使用：
wget -r -l1 --no-parent -A.gif http://www.server.com/dir/更冗长，但效果是一样的。 “-r -l1”表示递归检索（参见递归下载），最大深度为 1。“--no-parent”表示忽略对父目录的引用（参见基于目录的限制），“-A” .gif' 表示只下载 gif 文件。 '-A "*.gif"' 也可以。
（只需将 .gif 替换为 .pdf！）
【讨论】：