有没有办法找到谷歌在特定域中抓取的所有唯一网址？

【问题标题】：Is there a way to find all the unique URLs crawled by Google in a specific domain?有没有办法找到谷歌在特定域中抓取的所有唯一网址？
【发布时间】：2015-03-25 06:28:44
【问题描述】：

我想知道是否有办法获取 Google 搜索爬虫已抓取的所有 URL（包括子域）？

【问题讨论】：

标签： url google-search googlebot google-crawlers

【解决方案1】：

您只能通过以下搜索找到 Google 已编入索引（不仅仅是抓取）的页面：

site:example.com

【讨论】：