你能用 Wget 创建干净的 URL 吗？答案

【问题标题】：Are you able to create clean URLs with Wget?你能用 Wget 创建干净的 URL 吗？
【发布时间】：2014-06-28 12:26:44
【问题描述】：

我正在尝试使用干净的 URL（即http://example.org/foo not http://example.org/foo.php）创建 WordPress 网站的镜像。当 Wget 镜像站点时，它会为所有页面和链接提供“.html”扩展名（即http://example.org/foo.html）。

是否可以为 Wget 设置选项以创建一个干净的 URL 结构，以便与页面“http:example.org/foo”对应的镜像文件将是“/foo/index.html”并且链接到该页面将是“http:example.org/foo”？如果有，怎么做？

【问题讨论】：

您是否拥有您要镜像的原始网站？为什么不从干净的 URL 开始呢？另外，您为什么一开始就尝试镜像该站点？出于性能目的？为什么不只是在它前面有一个缓存代理？
是的，我拥有它。 WP 站点确实有干净的 URL，但我无法让镜像站点拥有它们。这是一个实验。目标是提高性能、安全性、简单性和可维护性。我希望能够在秘密 URL 上托管 WP 站点，并将静态版本部署到某种自动缩放 CDN。由于面向公众的站点只是静态文件，因此安全风险很小，并且 CDN 可以处理扩展。
有一些应用程序防火墙也可以进行缓存，例如 CloudFlare，它可以以更少的复杂性实现大部分功能。您的网站不会完全离线，但除非您打算完全隐藏所有动态内容（即联系表格、评论表格、相关文章列表等），否则您将无法完全掩盖您的来源方式。
谢谢。 CloudFlare 看起来很有趣。我想做更多的研究。我的公司使用 Akamai 和 Jenkins。 “没有动态内容”（评论表单等）的 WordPress 网站的用例对我们来说实际上是一个很常见的用例。我知道您建议的解决方案有一些优势，但我认为有一个强有力的理由是只获取一堆静态文件，将它们转储到 S3 上并忘记它们。无论如何，我仍然想知道 Wget 是否有能力做我想做的事情。

标签： wget gnu

【解决方案1】：

如果我正确理解了您的问题，那么您是在询问 Wget 的默认行为是什么。

如果--adjust-extension 选项已传递给它，Wget 只会将扩展名添加到本地副本。引用 Wget 的手册页：

   --adjust-extension
       If a file of type application/xhtml+xml or text/html is downloaded and the URL does not end with the regexp \.[Hh][Tt][Mm][Ll]?, this option will cause the suffix .html to be appended to the
       local filename.  This is useful, for instance, when you're mirroring a remote site that uses .asp pages, but you want the mirrored pages to be viewable on your stock Apache server.  Another good
       use for this is when you're downloading CGI-generated materials.  A URL like http://example.com/article.cgi?25 will be saved as article.cgi?25.html.

但是，您似乎要求的是，Wget 将 example.org/foo 保存为 /foo/index.html 实际上是默认选项。如果您看到其他输出，您应该使用 --debug 开关发布 Wget 的完整输出。

【讨论】：

你说得对，我觉得绝对“傻”。我一直在关注一个教程，该教程出于某种原因建议使用--convert-links 选项。我不知道为什么我不明白这一点。再清楚不过了：“...此选项将导致后缀‘.html’被附加到本地文件名”