用 PHP 抓取一个凌乱的 html 网站

Question

我处于以下情况。我正在尝试将杂乱的抓取 html 代码转换为漂亮整洁的 xml 结构。

抓取网站的部分 HTML 代码：

<p><span class='one'>week number</span></p>

<p><span class='two'>day of the week</span></p>
<table class='spreadsheet'>
table data
</table>

<p><span class='two'>another day of the week</span></p>
<table class='spreadsheet'>
table data
</table>

<p><span class='one'>another week number</span></p>

ETC

现在我想用 php 创建以下 xml 结构：

<week number='week number'>
 <day name='day of the week'>
  <data id='table data'>table data</data>
 </day>

 <day name='another day of the week'>
  <data id='table data'>table data</data>
 </day>
</week>
<week number='another week number'>
 ETC
</week>

一直在尝试简单的 html dom 方法，但不知道如何获取下一个兄弟并检查它是一周中的新一天、新表数据还是新一周等。

当然，我也愿意接受其他解决方案。

谢谢。

干杯， 丹东

Answer 1

您需要转换服务 xsl 和 xslt。

http://en.wikipedia.org/wiki/XSLT

Answer 2

没有灵丹妙药。处理此问题的典型方法是首先通过 htmltidy 过滤 html，以获得一些可预测的标签汤，然后将其提供给解析器（例如 DomDocument）。然后用DomXPath选择你需要的节点，组装一个关联数组的中间结构，最后转化成输出xml文档。

提示：使用 firebug 的“复制 XPath”功能来获取节点的 xpath 表达式。

Answer 3

Tidy（又名 HTML Tidy）PHP 扩展是一个不错的选择。

http://php.net/tidy

但是，如果您使用的是网络托管服务，它可能未启用，或者您可能需要明确要求。

编辑：

另一个对 php 模块不应该有更多依赖的选项可能是这个项目：

http://www.bioinformatics.org/phplabware/internal_utilities/htmLawed/index.php

Answer 4

恕我直言，最“容易出错”的方法是使用真正的浏览器进行抓取，如果使用 Selenium RC 进行远程浏览器控制，这非常容易。请参阅我使用 jQuery 抓取 Google 的示例代码：HERE。

只需几行代码即可提取大部分内容。