从网站获取所有被 google 索引的 url

Question

我想要一个这样的程序，从一个网站，获取索引到它的所有 url 并具有良好的输出，例如，所有 url 逐行获取，并获取网站中未使用的 url（因为蜘蛛可以已经这样做了）。

我一直在搜索和寻找 sloopy 选项，我想要的是准确而简单的：输入：URL 输出：所有 URL。

Answer 1

我暂时不知道这样的应用程序，但我会尝试通过划分来简化您的任务：

1. 您需要一份您网站的内部链接列表。任何网络爬虫工具都可以做到这一点。
2. 您需要一份由 Google 索引的网站页面列表。 SE index checkers有很多，可以google一下。
3. 比较 第 2 个 列表和第 1 个 列表，找到所有在 Google 索引中出现但在您的网站上丢失的链接。