在 URL 包含字符串的特定 div 标签中抓取完整的网站以获取数据答案

【问题标题】：Scraping complete web site for data within specific div tag where url includes string在 URL 包含字符串的特定 div 标签中抓取完整的网站以获取数据
【发布时间】：2013-03-04 11:47:30
【问题描述】：

我拥有一家网上商店，我的一个供应商非常友好地给了我一个包含产品型号、价格和标题的 CSV 文件，但他们不能给我包括他们的产品描述在内的数据库转储。不过，我可以抓取产品描述 - 问题是如何？

All URLs include the model number like "title-of-product-MN-504-1.htm"
The descriptions are inside a <div> tag like "<div id="description"> Bla bla bla <other tag>bla bla </other tag> bla bla </div>"

假设我在 csv 文件或 MySQL 表中拥有所有型号 - 我如何将与型号相关的描述保存在 URL 中（如果这样更容易，也位于另一个 div 标记中）？

总而言之 - 输入将是来自 csv 或 MySQL 表的型号，输出应该是 MySQL 表（或 csv），其中包含型号和各个页面上 div 标签的描述。我正在考虑以下工具，但我不确定如何将它们连接起来做我想做的事：wget、cURL 和PHP Simple HTML DOM Parser

【问题讨论】：

您可以使用这个phpcrawl.cuab.de 并使用这个特定的属性：phpcrawl.cuab.de/classreferences/index.html，然后找到描述：stackoverflow.com/questions/3493236/…。其实最后一个网址好像就够了。
谢谢。看起来是正确的方法 - 但我如何只从包含型号的列表/数组中抓取包含型号字符串的网址？怎么样：1）抓取包含型号的 URL 的站点（我应该怎么做？） 2）使用 phpcrawl 和 php 简单的 DOM 解析器来获取描述 3）将结果保存到 MySQL
看我的回答，在 cmets 中有点难读。

标签： php mysql csv screen-scraping

【解决方案1】：

您可以使用此http://phpcrawl.cuab.de/ 并使用此特定属性：http://phpcrawl.cuab.de//classreferences/index.html，然后找到描述：Extract string between html tags in php

至于您在抓取页面上找到的 URL 中查找型号的要求，您可以使用以下属性：http://phpcrawl.cuab.de/classreferences/index.html

如果您要将从他们那里获得的 CSV 文件编入索引并为其网站编入索引；我会做以下事情

您建立一个列表，列出您需要获取描述的所有型号。

爬取他们的首页以启动该过程。 收集 URL，添加到访问列表
访问列表中与型号匹配的每个 URL，获取描述，从列表中删除型号。 收集 URL，添加到访问列表
返回第 2 步 - 重复，直到您的列表中没有更多型号

至于如何获取带有型号的网址：http://php.net/manual/en/function.strpos.php

这样的事情，我把实现留给你：

foreach($list_of_urls as $url) {
    foreach($list_of_modelnumbers as $model) {
        if(strpos($url, $model)) {
            $list_of_urls_to_crawl[] = $url; 
   /* you can also remove the $model, but I already wrote it in a foreach loop */
            break;
        }
    }
}

然后你可以清除$list_of_urls并从爬虫结果中追加新的:)

foreach($list_of_urls_to_crawl as $url) {
     //Set $crawler, let him go, get your description etc.

     foreach($crawler->links_found as $url) {
         $list_of_urls[] = $url;
     }
}

并将它放在一个大的while($still_need_descriptions) 循环中。

【讨论】：

如果您经常获得新文件和/或经常更改内容，您最好将 URL 存储在数据库中并使用该数据进行处理。
非常感谢！正是我希望得到的那种帮助:)

【解决方案2】：

或者，如果你不喜欢http://phpcrawl.cuab.de/，你可以使用PHP-Spider。

这就像编写基于 CSV 的自定义 URL 发现器一样简单然后用 XPath 查询解析爬取的页面。请参阅https://mvdbos.github.io/php-spider/ 上的示例。您唯一需要更改的是添加到 Spider 的 Discoverer 类。假设您知道 URL 是如何构建的，它可能如下所示：

class CsvModelNumberDiscoverer implements Discoverer
{
    protected $modelNumbersAndTitles = array();

    public function __construct(array $modelNumbersAndTitles)
    {
        $this->modelNumbersAndTitles = $modelNumbersAndTitles;
    }

    public function discover(Spider $spider, Resource $document)
    {
        $urls = array();
        foreach ($this->modelNumbersAndTitles as $number => $title) {
            $urls[] = 'http://example.com/' . $title . '-MN-' . $number . '.htm';
        }
        return $urls;
    }
}

运行蜘蛛的代码如下所示：

$spider = new Spider('http://www.example.com');
$spider->addDiscoverer(new CsvModelNumberDiscoverer($modelNumbersAndTitles);
$result = $spider->crawl();

最后，你可以像这样从结果中得到描述：

foreach ($result['queued'] as $resource) {
    $modelNo = $resource->getCrawler()->filterXpath("div[@id='modelNo']")->text();
    $description = $resource->getCrawler()->filterXpath("div[@id='description']")->text();
}

如果您不知道 URL 是如何构建的，您可以抓取整个站点（如 AmazingDreams 的回答）并使用发现器将 URL 与型号列表匹配。不过这需要更多时间。

完全披露：我写了PHP-Spider。

【讨论】：

【解决方案3】：

你可以先获取html代码使用

$homepage = file_get_contents('http://www.example.com/title-of-product-MN-504-1.htm');

然后您使用带有 php dom 解析器的 html 代码来获取您需要的确切元素的值。

【讨论】：