【发布时间】:2010-08-30 16:36:46
【问题描述】:
我需要为给定的域名(站点)抓取/解析一些与搜索引擎相关的数据。
我需要
Google Page Rank(仅针对域名,并非每个页面)。
编入索引的结果/页面数(google、bing)。
反向链接数(google、bing、yahoo)。
流量排名(alexa)。
网站缩略图。
您能否提供一些关于我可以从哪里开始的指示?我试图环顾四周,但我只能找到 Google Ajax API,它只为我提供了一些索引结果。这也需要有效的标题,这意味着我必须在该站点上才能使其工作。因此,我无法获取任何给定域的数据。
谢谢
【问题讨论】:
标签: c# search screen-scraping web-crawler