【问题标题】:scraping and parsing google data like page rank and more for a domain抓取和解析谷歌数据,如页面排名等域的
【发布时间】:2010-08-30 16:36:46
【问题描述】:

我需要为给定的域名(站点)抓取/解析一些与搜索引擎相关的数据。

我需要

Google Page Rank(仅针对域名,并非每个页面)。

编入索引的结果/页面数(google、bing)。

反向链接数(google、bing、yahoo)。

流量排名(alexa)。

网站缩略图。

您能否提供一些关于我可以从哪里开始的指示?我试图环顾四周,但我只能找到 Google Ajax API,它只为我提供了一些索引结果。这也需要有效的标题,这意味着我必须在该站点上才能使其工作。因此,我无法获取任何给定域的数据。

谢谢

【问题讨论】:

    标签: c# search screen-scraping web-crawler


    【解决方案1】:

    他们的搜索 API 故意非常有限,因此您可能需要直接从每个网站上抓取这些数据。

    【讨论】:

    • 你是对的,他们的 api 是故意限制的。但是,我发现很难找到可以抓取的数据。
    猜你喜欢
    • 1970-01-01
    • 2020-05-03
    • 2011-03-27
    • 1970-01-01
    • 2010-12-08
    • 2022-08-17
    • 1970-01-01
    • 1970-01-01
    • 2018-12-19
    相关资源
    最近更新 更多