java知道url的所有subUrls答案

【问题标题】：java to know all subUrls of urljava知道url的所有subUrls
【发布时间】：2010-08-30 14:12:56
【问题描述】：

我有一个网址。如何知道该页面的所有已存在的 subUrls。例如，

最好在java中。我已经尝试过几乎所有来自 java-source.net/open-source/crawlers 的东西——没有人能做到，他们只能通过 hrefs 去。提前谢谢！

【问题讨论】：

【解决方案1】：

如果没有索引页，这几乎是不可能的。如果网站创建者未提供，许多 Web 服务器会为您创建 HTML 索引页面，但出于安全原因，禁用目录列表是一种非常常见的做法。

【讨论】：

【解决方案2】：

你所寻求的是不可能的。服务器定义了 URL 中路径的实际含义，除非您非常了解服务器及其处理 URL 的方式，否则无法“猜测”。

【讨论】：

【解决方案3】：

我同意，您要查找的信息将在索引页面中。 IE。有时您访问网站并删除“page.html”部分。 volia 你会看到该目录中的所有页面和文件夹。

但如前所述，出于安全原因，这通常被禁用，因此用户不能四处走动。

因此，您的其他选择是要么

A) 猜一猜，继续尝试不同的组合来暴力破解页面 URL，00001、00002、00003 等

B) 从网站的根目录开始抓取网站，在一个页面中寻找指向该网站另一个页面的链接，直到所有链接都用尽。显然，该网站上的页面将永远不会找到指向它的链接。

C) 作为您所需信息的网站所有者。

【讨论】：