严重的 404，批量重定向答案

【问题标题】：serious 404's, bulk redirects严重的 404，批量重定向
【发布时间】：2012-08-18 04:51:17
【问题描述】：

我遇到了一些情况。由于一个完整的网站结构重新设计基本上是不可能的，我希望我们的站点地图大约 12,000 个 url 有大约 90-95% 的变化。在这 12,000 个中，我预计大约有 5000-6000 个内部链接会在此过程中失效。该网站尚无外部链接，因为它仍在开发中。

是否有一个工具可以在重组后提供 sitemap.xml 并让它解析每个页面的 404 错误，并且只报告页面/错误？

我找到了一些工具，但似乎都限制在 100 页以内。

对于中级网站管理员有什么建议可以帮助解决这种情况吗？在这种情况下，301 重定向是不可行的。

【问题讨论】：

【解决方案1】：

根据您的编程经验，执行此操作应该不难（解析 sitemap.xml，查找所有链接，向每个链接发出 http 请求，保存状态代码）。

如果您正在寻找专门的工具，我会说您可以尝试 wget（向其提供站点地图 URL，请参阅此处了解详细信息：http://www.wezm.net/technical/2009/05/spider-a-site-with-wget-using-sitemap-xml/）或HTTrack

【讨论】：