【问题标题】:I had some questions on db_redir_temp我对 db_redir_temp 有一些疑问
【发布时间】:2020-10-26 11:45:36
【问题描述】:

我已经注入了一些 url 来抓取一轮,我发现一些 url 为 db_redir_temp。 {"url":"http://www.universityhealth.org","pst":"temp_moved(13), lastModified=0:https://www.universityhealth.org/"} {"url":"http://silvercappartners.com","pst":"temp_moved(13), lastModified=0:http://silvercappartners.com/index.html"}

我可以知道http://www.universityhealth.org 指向相同的 url,为什么它显示为 db_redir_temp。 此网址指向http://silvercappartners.com 指向此网址http://silvercappartners.com/index.html 我是否应该考虑 pst 列将给出重定向的 url 页面。

【问题讨论】:

    标签: nutch nutch2


    【解决方案1】:

    两个网址

    http://www.universityhealth.org
    https://www.universityhealth.org/
    

    在一个重要方面有所不同,协议(或方案)-httphttps。这些并不总是等价的,例如。 Web 服务器可能不支持https。另一点(尾部/)无关紧要,空路径和服务器根路径的HTTP请求都是GET / HTTP/1.1(可能使用不同的协议版本)。

    但真正的原因仅仅是服务器以HTTP/1.1 302 Found 进行响应,这是一个重定向,请参阅HTTP 302

    “pst”或“协议状态”元数据字段可能包含一条消息。对于重定向,它包含重定向目标。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-12-18
      • 2014-01-28
      • 2019-06-01
      • 2020-08-14
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多