【问题标题】:If http redirects to https, will redirect trigger, if HSTS in use?如果 http 重定向到 https,是否会触发重定向,如果 HSTS 正在使用中?
【发布时间】:2017-12-15 05:21:16
【问题描述】:

由于网站切换到 HTTPS,Googlebot 应该在抓取链接时进行双重抓取 - 因为额外的跃点,从 HTTP 重定向到 HTTPS。这应该是相当大的计算能力,这是需要的。

我在想,Googlebot 是否确实实现了双倍的努力,或者它是否有任何提示可以识别 HTTPS 并直接访问它而不触发重定向以节省额外的跃点?

  • 如果正确调整 HSTS,则不会触发从 HTTP 到 HTTPS 的重定向并且流量直接转到 HTTPS 是否正确?
  • 可能是 Googlebot(可能是无头 Chrome)有线索/提示可以识别 HTTP 后面的 HTTPS 以直接访问 HTTPS?

【问题讨论】:

    标签: google-chrome redirect https hsts


    【解决方案1】:

    目前 Googlebot 不存储 HSTS 也不查看预加载列表。在这个问题上讨论过这个问题:https://github.com/chromium/hstspreload.org/issues/67

    说实话,与下载页面所需的所有资源然后准确呈现和索引它的计算成本相比,遵循重定向的计算成本是微不足道的。重定向是网络的标准组成部分,爬虫能够很好地处理它们。

    此外,网站将跟随链接,包括 HTML 的 HEAD 部分中的站点地图和规范 URL。他们不只是随机访问他们不知道的网站并抓取 HTTP。因此,如果网站到处都使用 HTTPS,那么无论如何都应该很少抓取 HTTP URL。

    最后这个问题可能更适合https://webmasters.stackexchange.com 而不是 Stack Overflow。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2012-06-25
      • 1970-01-01
      • 2022-01-06
      • 2017-09-15
      • 2016-06-18
      • 2011-09-06
      • 2018-08-29
      相关资源
      最近更新 更多