【发布时间】:2011-06-01 10:00:48
【问题描述】:
在我的项目中,我需要将 Google 缓存年龄添加为重要信息。我尝试搜索 Google 缓存年龄的来源,即自 Google 上次重新索引列出的页面以来的天数。
我在哪里可以获得 Google 缓存年龄?
【问题讨论】:
标签: html url hyperlink web-scraping
在我的项目中,我需要将 Google 缓存年龄添加为重要信息。我尝试搜索 Google 缓存年龄的来源,即自 Google 上次重新索引列出的页面以来的天数。
我在哪里可以获得 Google 缓存年龄?
【问题讨论】:
标签: html url hyperlink web-scraping
使用网址
https://webcache.googleusercontent.com/search?q=cache:<your url without "http://">
例子:
https://webcache.googleusercontent.com/search?q=cache:stackoverflow.com
它包含这样的标题:
这是 Google 的 https://stackoverflow.com/ 缓存。它是格林威治标准时间 2012 年 8 月 21 日 11:33:38 出现的页面快照。当前页面可能在此期间发生了变化。了解更多
提示:要在此页面上快速找到您的搜索词,请按 Ctrl+F 或 ⌘+ F (Mac) 并使用查找栏。
【讨论】:
robots.txt附近工作;我用它来阅读博客,因为我们的公司防火墙禁用了它的 URL
cache: 搜索运算符
https,它需要https:// 部分,否则返回404
您需要抓取结果页面,但您可以使用此URL 查看最新的缓存页面:
http://webcache.googleusercontent.com/search?q=cache:www.something.com/path
Google 信息放在 body 标签的第一个 div 中。
【讨论】:
你可以使用CachedPages网站
缓存页面通常由拥有强大网络服务器的大公司保存和存储。由于此类服务器通常非常快,因此缓存页面的访问速度通常比活动页面本身更快:
【讨论】:
您可以使用这个网站:https://cachedviews.com/。任何网站的缓存视图或缓存页面 - 任何网站的 Google 缓存页面
【讨论】:
这个也好查看cachepagehttp://www.cachepage.net
通过 google 缓存页面视图:webcache.googleusercontent.com/search?q=cache: Your url
通过archive.org缓存页面视图:web.archive.org/web/*/Your url
【讨论】: