用于提交表单并存储返回结果的简单 PHP 网络爬虫答案

【问题标题】：Simple PHP web crawler to submit form and store the returned results用于提交表单并存储返回结果的简单 PHP 网络爬虫
【发布时间】：2013-03-14 16:37:58
【问题描述】：

对于我正在开发的系统，我需要以编程方式转到特定页面。在表单中填写一个字段（我知道输入元素的id和名称），提交并存储结果。

我见过几个不同的 Perl、python 和 java 类可以做到这一点。但是我想用 PHP 来做这件事，到目前为止还没有找到任何东西。

我确实有权从我获取信息的网站上执行此操作。

感谢任何帮助

【问题讨论】：

你可以提交POST到这个表单的'src'，然后解析结果。

标签： php web-crawler

【解决方案1】：

看看大卫沃尔什的简单解释。

http://davidwalsh.name/curl-post

您可以轻松地将响应（在此示例中为 $result）存储在您的数据库或日志文件中。

【讨论】：

【解决方案2】：

通常 PHP 爬虫/爬虫使用 CURL - http://php.net/manual/en/book.curl.php。它允许您从运行 PHP 的服务器进行查询，并从您需要抓取的网站获取响应。它以纯格式返回响应数据并由您自行解析。您可以手动检查表单在手动执行时提交的内容，并通过 curl 执行相同的操作。

【讨论】：

【解决方案3】：

您也可以尝试 phpcrawl (http://phpcrawl.cuab.de)，似乎满足您的所有需求。（参见“addPostData()”-方法）

【讨论】：