【问题标题】:Php Scraping data from a websitePHP 从网站上抓取数据
【发布时间】:2013-03-14 03:41:26
【问题描述】:

我对编程非常陌生,需要一些帮助来从网站获取数据并将其传递到我的 PHP 脚本中。

网站是http://www.birthdatabase.com/。

我想插入一个名称(名字和姓氏)并检索结果。我知道您可以通过在 URL 中传递名称来查询该站点,但是我在抓取结果时遇到了问题。

http://www.birthdatabase.com/cgi-bin/query.pl?textfield=FIRST&textfield2=LAST&age=&affid=

我正在使用 file_get_contents($URL) 函数来获取页面,但之后需要帮助。具体来说,如果该名称有多个结果,我只想从某个状态抓取结果。

感谢您的帮助。

【问题讨论】:

标签: php screen-scraping


【解决方案1】:

你需要很棒的 simple_html_dom 类。

使用这个类,你可以用类似于 jQuery 的方式查询网页的 DOM。

首先在你的页面中包含类,然后用这个sn-p获取页面内容:

$html = file_get_html('http://www.birthdatabase.com/cgi-bin/query.pl?textfield=' . $first . '&textfield2=' . $last . '&age=&affid=');

然后您可以使用 CSS 选择来抓取您的数据(类似这样):

$n = 0;
foreach($html->find('table tbody tr td div font b table tbody') as $element) {
    @$row[$n]['tr']  = $element->find('tr')->text;
    $n++;
}

// output your data
print_r($row);

【讨论】:

  • 感谢您的帮助。这门课绝对看起来像我需要的。 birthdatabase.com 的输出包含多个表,并且没有要抓取的唯一标签。我希望我使用正确的术语。在所有这一切中我都是一个菜鸟,所以任何帮助将不胜感激。
  • 我不是来自美国,所以我不知道这个问题的答案,但是你能用邮政编码强制你想要的状态吗?
  • 状态被列为输出的一部分。我可能会在数组中搜索适当的值,然后输出相应的生日。我想我的问题仍然与首先获取该数组有关。数据库的输出有多个表,其中包含我不希望在数组中出现的广告和其他废话。我该如何解决?
  • 否则你需要找到一种方法让他们取消分页数据或向他们的服务器发出许多请求。要获取所有项目——然后根据状态列循环和过滤。
  • 我用更好的 CSS DOM 路径修改了我的答案
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2012-02-28
  • 2013-05-21
  • 2014-07-06
  • 1970-01-01
相关资源
最近更新 更多