基于分隔符的 HTML 切片答案

【问题标题】：Slicing HTML based on delimiter基于分隔符的 HTML 切片
【发布时间】：2017-08-22 15:47:06
【问题描述】：

我正在将 Word 文档即时转换为 HTML，并且需要根据分隔符解析所述 HTML。例如：

<div id="div1">
    <p>
        <font>
            <b>[[delimiter]]Start of content section 1.</b>
        </font>
    </p>
    <p>
        <span>More content in section 1</span>
    </p>
</div>
<div id="div2">
    <p>
        <b>
            <font>[[delimiter]]Start of section 2</font>
        </b>
    <p>
    <span>More content in section 2</span>
    <p><font>[[delimiter]]Start of section 3</font></p>
<div>
<div id="div3">
    <span><font>More content in section 3</font></span>
</div>
<!-- This continues on... -->

应该被解析为：

第 1 节：

<div id="div1">
    <p>
        <font>
            <b>[[delimiter]]Start of content section 1.</b>
        </font>
    </p>
    <p>
        <span>More content in section 1</span>
    </p>
</div>

第 2 节：

<div id="div2">
    <p>
        <b>
            <font>[[delimiter]]Start of section 2</font>
        </b>
    <p>
    <span>More content in section 2</span>
    <p></p>
<div>

第 3 节：

<div id="div2">
    <p>
        <b>

        </b>
    <p>
    <p><font>[[delimiter]]Start of section 3</font></p>
<div>
<div id="div3">
    <span><font>More content in section 3</font></span>
</div>

我不能简单地根据分隔符“分解”/切片，因为那样会破坏 HTML。每一点文本内容都有许多父元素。
我无法控制 HTML 结构，它有时会根据 Word 文档的结构而改变。最终用户将导入他们的 Word 文档以在应用程序中进行解析，因此在解析之前不会更改生成的 HTML。
内容通常位于 HTML 中的不同深度。
我不能依赖元素类或 ID，因为它们在文档之间不一致。 #div1、#div2 和 #div3 在我的示例中仅用于说明。
我的目标是解析出内容，所以如果剩下空元素也没关系，我可以简单地再次运行标记并删除空标签（p、字体、b 等）。

我的尝试：

我正在使用 PHP DOM 扩展来解析 HTML 并循环遍历节点。但我想不出一个好的算法来解决这个问题。

$doc = new \DOMDocument();
$doc->loadHTML($html);
$body = $doc->getElementsByTagName('body')->item(0);

foreach ($body->childNodes as $child) {
    if ($child->hasChildNodes()) {
        // Do recursive call...
    } else {
        // Contains slide identifier?
    }
}

【问题讨论】：

我不认为这是可以实现的，除非您有某些可以定位的div，例如通过 ID。如果您可以依赖它，那么获取某个 ID 的开始标签和结束标签之间的所有内容（例如 #div1、#div2 等）很简单，这就是您想要的内容。但是，您不能只说查找 any div，因为这是一个通用标签，甚至可能出现在其他 div 等内部。您始终必须为内容部分定义规则，如果您既不控制标记，又不能依赖它永不改变，这是不可能的。
为什么不使用strip_tags然后将文本输出到某个模板<div><p>text</><p>text</p></div>
为什么不使用类似这个库的东西：github.com/ATofighi/phpQuery
你能用 xhtml 生成 xpath 查询吗？

标签： php html parsing dom dom-manipulation

【解决方案1】：

为了解决这样的问题，您首先需要制定解决方案所需的步骤，甚至在开始编码之前。

查找以 [[delimiter]] 开头的元素
检查它的父级是否有next sibling
没有？重复 2
是吗？下一个兄弟包含内容。

现在，一旦您将其付诸实施，您就已经准备好 90%。你需要做的就是清理掉不必要的标签，你就完成了。

要获得可以扩展的东西，不要构建一堆有效的混淆代码，而是将你需要的所有数据拆分成你可以使用的东西。

下面的代码与两个完全符合您需要的类一起使用，并为您提供了一种很好的方式来处理所有元素，一旦您需要它们。它确实使用PHP Simple HTML DOM Parser 而不是DOMDocument，因为我更喜欢它。

<?php
error_reporting(E_ALL);
require_once("simple_html_dom.php");

$html = <<<XML
<body>
        <div id="div1">
                <p>
                        <font>
                                <b>[[delimiter]]Start of content section 1.</b>
                        </font>
                </p>
                <p>
                        <span>More content in section 1</span>
                </p>
        </div>
        <div id="div2">
                <p>
                        <b>
                                <font>[[delimiter]]Start of section 2</font>
                        </b>
                </p>
                <span>More content in section 2</span>
                <p>
                        <font>[[delimiter]]Start of section 3</font>
                </p>
        </div>
        <div id="div3">
                <span>
                        <font>More content in section 3</font>
                </span>
        </div>
</body>
XML;



/*
 * CALL
 */

$parser = new HtmlParser($html, '[[delimiter]]');

//dump found
//decode/encode to only show public values
print_r(json_decode(json_encode($parser)));


/*
 * ACTUAL CODE
 */


class HtmlParser
{
    private $_html;
    private $_delimiter;
    private $_dom;

    public $Elements = array();

    final public function __construct($html, $delimiter)
    {
        $this->_html = $html;
        $this->_delimiter = $delimiter;
        $this->_dom = str_get_html($this->_html);

        $this->getElements();
    }

    final private function getElements()
    {
        //this will find all elements, including parent elements
        //it will also select the actual text as an element, without surrounding tags
        $elements = $this->_dom->find("[contains(text(),'".$this->_delimiter."')]");

        //find the actual elements that start with the delimiter
        foreach($elements as $element) {
            //we want the element without tags, so we search for outertext
            if (strpos($element->outertext, $this->_delimiter)===0) {
                $this->Elements[] = new DelimiterTag($element);
            }
        }

    }

}

class DelimiterTag
{
    private $_element;

    public $Content;
    public $MoreContent;

    final public function __construct($element)
    {
        $this->_element = $element;
        $this->Content = $element->outertext;


        $this->findMore();
    }

    final private function findMore()
    {
        //we need to traverse up until we find a parent that has a next sibling
        //we need to keep track of the child, to cleanup the last parent
        $child = $this->_element;
        $parent = $child->parent();
        $next = null;
        while($parent) {
            $next = $parent->next_sibling();

            if ($next) {
                break;
            }
            $child = $parent;
            $parent = $child->parent();
        }

        if (!$next) {
            //no more content
            return;
        }

        //create empty element, to build the new data
        //go up one more element and clean the innertext
        $more = $parent->parent();
        $more->innertext = "";

        //add the parent, because this is where the actual content lies
        //but we only want to add the child to the parent, in case there are more delimiters
        $parent->innertext = $child->outertext;
        $more->innertext .= $parent->outertext;

        //add the next sibling, because this is where more content lies
        $more->innertext .= $next->outertext;

        //set the variables
        if ($more->tag=="body") {
            //Your section 3 works slightly different as it doesn't show the parent tag, where the first two do.
            //That's why i show the innertext for the root tag and the outer text for others.
            $this->MoreContent = $more->innertext;
        } else {
            $this->MoreContent = $more->outertext;
        }

    }
}




?>

清理输出：

stdClass Object
(
  [Elements] => Array
  (
    [0] => stdClass Object
    (
        [Content] => [[delimiter]]Start of content section 1.
        [MoreContent] => <div id="div1">
                            <p><font><b>[[delimiter]]Start of content section 1.</b></font></p>
                            <p><span>More content in section 1</span></p>
                          </div>
    )

    [1] => stdClass Object
    (
        [Content] => [[delimiter]]Start of section 2
        [MoreContent] => <div id="div2">
                            <p><b><font>[[delimiter]]Start of section 2</font></b></p>
                            <span>More content in section 2</span>
                         </div>
    )

    [2] => stdClass Object
    (
        [Content] => [[delimiter]]Start of section 3
        [MoreContent] => <div id="div2">
                            <p><font>[[delimiter]]Start of section 3</font></p>
                         </div>
                         <div id="div3">
                            <span><font>More content in section 3</font></span>
                          </div>
    )
  )
)

【讨论】：

不确定我们应该如何处理额外的内容。例如，如果分隔符之间有额外的<div> 标签，它们应该是内容的一部分吗？
它对我的帮助满满
我已经决定这是一个有趣的理论练习，但却是一场实际的噩梦。您可能需要数百个示例来确保任何解决方案都有效，然后正如您所说，有人提出示例 101，它再次破坏了代码。
我想这听起来很对。但这确实取决于文件包含的内容。如果您尝试解析简历，您将获得一千个不同的版本，这很难。如果您将表格作为人们需要填写的 word 文档发送，您可能会获得非常高的成功率，并且可以节省大量时间。但与所有用户解析一样，它充满了异常。更不用说不同版本的 Word 之间的问题了。
TBH - 如果没有 OP 的输入，甚至很难验证对本文档所做的基本假设。即使是跟踪备份文档的“父级具有下一个兄弟级”逻辑的基础知识也可能过于简化了可能的组合。

【解决方案2】：

到目前为止我得到的最近的是......

$html = <<<XML
<body>
    <div id="div1">
        <p>
            <font>
                <b>[[delimiter]]Start of content section 1.</b>
            </font>
        </p>
        <p>
            <span>More content in section 1</span>
        </p>
    </div>
    <div id="div2">
        <p>
            <b>
                <font>[[delimiter]]Start of section 2</font>
            </b>
        </p>
        <span>More content in section 2</span>
        <p>
            <font>[[delimiter]]Start of section 3</font>
        </p>
    </div>
    <div id="div3">
        <span>
            <font>More content in section 3</font>
        </span>
    </div>
</body>
XML;
$doc = new \DOMDocument();
$doc->loadHTML($html);
$xp = new DOMXPath($doc);
$div = $xp->query("body/node()[descendant::*[contains(text(),'[[delimiter]]')]]");

foreach ($div as $child) {
    echo "Div=".$doc->saveHTML($child).PHP_EOL;
}

echo "Last bit...".$doc->saveHTML($child).PHP_EOL;
$div = $xp->query("following-sibling::*", $child);
foreach ($div as $remain) {
    echo $doc->saveHTML($remain).PHP_EOL;
}

我认为我必须调整 HTML 以纠正（希望）错误的缺失 </div>。

看看它有多强大会很有趣，但很难测试。

“最后一位”尝试将具有最后一个标记的元素放入（在本例中为 div2）直到文档末尾（使用 following-sibling::*）。

还请注意，它假定正文标签是文档的基础。所以这需要调整以适合您的文档。可能很简单，改成//body...

更新具有更多的灵活性和处理同一整体细分市场中多个部分的能力...

$html = <<<XML
    <html>
    <body>
        <div id="div1">
            <p>
                <font>
                    <b>[[delimiter]]Start of content section 1.</b>
                </font>
            </p>
            <p>
                <span>More content in section 1</span>
            </p>
        </div>
        <div id="div1a">
            <p>
                <span>More content in section 1</span>
            </p>
        </div>
        <div id="div2">
            <p>
                <b>
                    <font>[[delimiter]]Start of section 2</font>
                </b>
            </p>
            <span>More content in section 2</span>
            <p>
                <font>[[delimiter]]Start of section 3</font>
            </p>
        </div>
        <div id="div3">
            <span>
                <font>More content in section 3</font>
            </span>
        </div>
    </body>
    </html>
XML;

$doc = new \DOMDocument();
$doc->loadHTML($html);
$xp = new DOMXPath($doc);
$div = $xp->query("//body/node()[descendant::*[contains(text(),'[[delimiter]]')]]");

$partCount = $div->length;
for ( $i = 0; $i < $partCount; $i++ )  {
    echo "Div $i...".$doc->saveHTML($div->item($i)).PHP_EOL;

    // Check for multiple sections in same element
    $count = $xp->evaluate("count(descendant::*[contains(text(),'[[delimiter]]')])",
            $div->item($i));
    if ( $count > 1 )   {
        echo PHP_EOL.PHP_EOL;
        for ($j = 0; $j< $count; $j++ ) {
            echo "Div $i.$j...".$doc->saveHTML($div->item($i)).PHP_EOL;
        }
    }
    $div = $xp->query("following-sibling::*", $div->item($i));
    foreach ($div as $remain) {
        if ( $i < $partCount-1 && $remain === $div->item($i+1)  )   {
            break;
        }
        echo $doc->saveHTML($remain).PHP_EOL;
    }

    echo PHP_EOL.PHP_EOL;
}

【讨论】：

非常感谢您的回答！我会试一试。我不知道查询能力。
我添加了一些新代码，仍然难以测试，因为您说内容非常动态。但这试图将我的早期版本与提供所有内容之间的东西联系起来。使用following-sibling 方法，直到它到达它已识别为具有节分隔符的下一个元素。