【问题标题】:How to find the HTTP request from google chrome inspect element?如何从谷歌浏览器检查元素中找到 HTTP 请求?
【发布时间】:2017-02-25 14:24:34
【问题描述】:

如果我没有使用正确的术语,请原谅我。我有一个网页,我正试图从中抓取信息。问题是当我查看页面源时,我想要抓取的数据不存在。我在主要http请求触发其他请求之前遇到过这个问题,所以我正在寻找的信息实际上是我使用谷歌浏览器检查-网络功能找到的其他地方。我手动搜索各种文档和 xhr 文件,以便找到具有正确信息的文件。这有时是漫长而乏味的。我还可以使用谷歌浏览器检查功能来检查包含我想要的信息并显示正确源代码的元素,但我似乎无法弄清楚我可以在哪里或如何使用它来快速找到相应的 HTTP 标头.

重述一下 - 我可以使用谷歌浏览器的检查元素功能,然后要求它向我显示生成该代码的相应网络事件(HTTP 请求)吗?

我将添加我正在处理的案例研究。

 http://www.flashscore.com/tennis/atp-singles/acapulco/results/

显示在网球锦标赛中进行的不同比赛。我正在尝试抓取匹配的 href,但如果您查看页面的源代码,您会发现它们不存在。

谢谢

【问题讨论】:

    标签: google-chrome web-scraping inspect-element


    【解决方案1】:

    一种方式:

    打开firefox,安装LiveHttpHeaders,然后运行,你会看到预期的HEADERS。

    谷歌浏览器有相同的插件,但未经测试。

    【讨论】:

    • 这不是我需要的,它似乎只是在做 Chrome 已经做的事情。
    • 不同之处在于,您无法在此站点 AFAIK 上使用 chrome dev tools 跟踪 http 标头(可能是因为打开了一个新页面?)
    【解决方案2】:

    简短重申 - 我可以使用谷歌浏览器的检查元素功能,然后要求它向我显示生成该代码的相应网络事件(HTTP 请求)吗?

    没有。这不是浏览器跟踪的内容。

    在大多数情况下,HTTP 响应将通过大量的 Javascript 代码,然后最终转化为页面上的元素。跟踪哪个 HTTP 响应对给定元素“负责”将涉及大量数据流分析,并且对于浏览器来说是不切实际的。

    【讨论】:

    • 阅读本文后:gregreda.com/2015/02/15/web-scraping-finding-the-api 我发现数据正在客户端处理,这似乎意味着我必须查看 XHR 调用,但它们都没有提供匹配的预览或代码我在网页上看到,我假设这是我在服务器端抓取数据的一些预防措施?
    • 这不太可能只是作为一种预防措施。该网站的作者更有可能只是觉得在浏览器端进行 HTML 渲染会更容易。
    猜你喜欢
    • 2016-10-30
    • 2012-07-15
    • 2016-02-02
    • 1970-01-01
    • 1970-01-01
    • 2021-10-09
    • 1970-01-01
    • 2014-03-07
    • 1970-01-01
    相关资源
    最近更新 更多