XPath 使用 Nokogiri 返回空数组答案

【问题标题】：XPath returning empty array using NokogiriXPath 使用 Nokogiri 返回空数组
【发布时间】：2013-02-25 02:46:37
【问题描述】：

我正在尝试使用 Nokogiri、Mechanize 和 XPath 解析页面，但是，无论我尝试什么，我都会收到一个空数组。

我在 Chrome 中检查它并获得了 XPath，然后尝试了多种方法来解析它，但总是收到一个空数组。

我试过了：

puts page.search('/html/body/div/table/tbody/tr[2]/td/table/tbody/tr[2]/td[2]').inspect

puts  post_page.parser.xpath('/html/body/div/table/tbody/tr[2]/td/table/tbody/tr[2]/td[2]').inspect

puts  post_page.parser.at_xpath('/html/body/div/table/tbody/tr[2]/td/table/tbody/tr[2]/td[2]').inspect

所有有和没有尾随“/text”

这是我要抓取的页面的来源：

<SCRIPT language="JavaScript">
<!-- 
document.cookie = "IV_JCT=%2FMPIS; path=/";
//--> 
</SCRIPT>

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>

  <head>
    <title>My Schedule</title>

    <meta http-equiv="pragma" content="no-cache">
    <meta http-equiv="cache-control" content="no-cache">
    <meta http-equiv="expires" content="-1">    
    <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
    <meta http-equiv="description" content="This is my schedule">
    <!--
    <link rel="stylesheet" type="text/css" href="styles.css">
    -->

  </head>

  <body>
  <div align="center"> 
    <strong>My Schedule</strong><br>as of Sun Feb 24 2013 06:43:09 PM CST<br><br>
    <div align="left"><pre><br>Employee Name: Johnson Appleseed    
Unit = 12345</pre>    
    <br> 
  </div>

    <table border="0" cellpadding="0" cellspacing="0" width="100%">
     <tr>
     <td colspan="8" align="center"><b><font size="+1">Schedules may be subject to change based on business needs or demand</font></b></td>
     </tr>   

      <tr><td>
      <table border="4" bordercolor="#2D73B9" cellpadding="2" cellspacing="2" width="100%">
      <tr bgcolor="#7C9BCF">
        <td width="12%" align="center"><b>Sunday</b></td>
        <td width="12%" align="center"><b>Monday</b></td>
        <td width="12%" align="center"><b>Tuesday</b></td>
        <td width="12%" align="center"><b>Wednesday</b></td>
        <td width="12%" align="center"><b>Thursday</b></td>
        <td width="12%" align="center"><b>Friday</b></td>
        <td width="12%" align="center"><b>Saturday</b></td>
        <td rowspan="2" width="12%" align="center"><b>Total weekly Hours</b></td>
      </tr>  

      <tr bgcolor="#7C9BCF">

        <td width="14%" align="center">2013-02-24</td>

        <td width="14%" align="center">2013-02-25</td>

        <td width="14%" align="center">2013-02-26</td>

        <td width="14%" align="center">2013-02-27</td>

        <td width="14%" align="center">2013-02-28</td>

        <td width="14%" align="center">2013-03-01</td>

        <td width="14%" align="center">2013-03-02</td>

      </tr>  

      <tr bgcolor="#FFFFFF">

        <td width="14%" align="left"><pre>&nbsp;</pre></td>

        <td width="14%" align="left"><pre><b>Shift: </b>
5:30 PM - 9:00 PM
<b>Meal:</b>
 - </pre></td>


        <td width="14%" align="left"><pre>&nbsp;</pre></td>

        <td width="14%" align="left"><pre>&nbsp;</pre></td>

        <td width="14%" align="left"><pre>&nbsp;</pre></td>

        <td width="14%" align="left"><pre><b>Shift: </b>
2:00 PM - 9:15 PM
<b>Meal:</b>
5:45 PM - 6:30 PM</pre></td>

        <td width="14%" align="left"><pre><b>Shift: </b>
4:45 PM - 9:15 PM
<b>Meal:</b>
 - </pre></td>

        <td width="12%" align="center">14.5</td> 
      </tr>  

      <tr bgcolor="#FFFFFF">

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">3.5</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">6.5</td>

        <td width="14%" align="center">4.5</td>

        <td width="14%" align="center">Daily Hours</td>   
      </tr>  

     </table>
     </td></tr>

      <tr><td>
      <table border="4" bordercolor="#2D73B9" cellpadding="2" cellspacing="2" width="100%">
      <tr bgcolor="#7C9BCF">
        <td width="12%" align="center"><b>Sunday</b></td>
        <td width="12%" align="center"><b>Monday</b></td>
        <td width="12%" align="center"><b>Tuesday</b></td>
        <td width="12%" align="center"><b>Wednesday</b></td>
        <td width="12%" align="center"><b>Thursday</b></td>
        <td width="12%" align="center"><b>Friday</b></td>
        <td width="12%" align="center"><b>Saturday</b></td>
        <td rowspan="2" width="12%" align="center"><b>Total weekly Hours</b></td>
      </tr>  

      <tr bgcolor="#7C9BCF">

        <td width="14%" align="center">2013-03-03</td>

        <td width="14%" align="center">2013-03-04</td>

        <td width="14%" align="center">2013-03-05</td>

        <td width="14%" align="center">2013-03-06</td>

        <td width="14%" align="center">2013-03-07</td>

        <td width="14%" align="center">2013-03-08</td>

        <td width="14%" align="center">2013-03-09</td>

      </tr>  

      <tr bgcolor="#FFFFFF">

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="12%" align="center">0.0</td> 
      </tr>  

      <tr bgcolor="#FFFFFF">

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">Daily Hours</td>   
      </tr>  

     </table>
     </td></tr>

      <tr><td>
      <table border="4" bordercolor="#2D73B9" cellpadding="2" cellspacing="2" width="100%">
      <tr bgcolor="#7C9BCF">
        <td width="12%" align="center"><b>Sunday</b></td>
        <td width="12%" align="center"><b>Monday</b></td>
        <td width="12%" align="center"><b>Tuesday</b></td>
        <td width="12%" align="center"><b>Wednesday</b></td>
        <td width="12%" align="center"><b>Thursday</b></td>
        <td width="12%" align="center"><b>Friday</b></td>
        <td width="12%" align="center"><b>Saturday</b></td>
        <td rowspan="2" width="12%" align="center"><b>Total weekly Hours</b></td>
      </tr>  

      <tr bgcolor="#7C9BCF">

        <td width="14%" align="center">2013-03-10</td>

        <td width="14%" align="center">2013-03-11</td>

        <td width="14%" align="center">2013-03-12</td>

        <td width="14%" align="center">2013-03-13</td>

        <td width="14%" align="center">2013-03-14</td>

        <td width="14%" align="center">2013-03-15</td>

        <td width="14%" align="center">2013-03-16</td>

      </tr>  

      <tr bgcolor="#FFFFFF">

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="14%" align="left"><pre>Sched Not Posted</pre></td>

        <td width="12%" align="center">0.0</td> 
      </tr>  

      <tr bgcolor="#FFFFFF">

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">0.0</td>

        <td width="14%" align="center">Daily Hours</td>   
      </tr>  

     </table>
     </td></tr>

     <tr>
     <td colspan="8" align="center"><b><font size="+1">Schedules may be subject to change based on business needs or demand</font></b></td>
     </tr>
    </table >

        <p><br>
        </p>
        <p class="align_center" >      
            <input type=button value="Print this page" onClick="javascript:window.print();">     
            <input type=button value="Close This Window" onClick="javascript:window.close();">
        </p>

  </div>
  </body>

</html>

【问题讨论】：

在提供代码或数据（例如 HTML）时，将其减少到演示/重现问题所需的最低限度。除此之外，这会浪费我们的时间并妨碍我们为您提供帮助。另外，你没有说你想要完成什么。

标签： ruby xpath nokogiri mechanize

【解决方案1】：

请注意，在您的 XPath 访问器中，您需要 tbody 成为路径的一部分：

puts page.search('/html/body/div/table/tbody/tr[2]/td/table/tbody/tr[2]/td[2]').inspect
puts  post_page.parser.xpath('/html/body/div/table/tbody/tr[2]/td/table/tbody/tr[2]/td[2]').inspect
puts  post_page.parser.at_xpath('/html/body/div/table/tbody/tr[2]/td/table/tbody/tr[2]/td[2]').inspect

HTML 没有tbody 标记，导致查找失败。

尝试简化您的访问器。我通常从 Nokogiri 支持的 CSS 开始，然后，如果我无法到达那里，我会切换到 XPath。您的里程可能会有所不同。

例如：

(rdb:1) puts doc.at('table table tr').to_html

输出：

<tr bgcolor="#7C9BCF">
<td width="12%" align="center"><b>Sunday</b></td>
        <td width="12%" align="center"><b>Monday</b></td>
        <td width="12%" align="center"><b>Tuesday</b></td>
        <td width="12%" align="center"><b>Wednesday</b></td>
        <td width="12%" align="center"><b>Thursday</b></td>
        <td width="12%" align="center"><b>Friday</b></td>
        <td width="12%" align="center"><b>Saturday</b></td>
        <td rowspan="2" width="12%" align="center"><b>Total weekly Hours</b></td>
        </tr>

这是获取列标题的更简单的方法。

要到达第二行，您可以使用：

(rdb:1) puts doc.at('table table tr[2]').to_html

这让你：

<tr bgcolor="#7C9BCF">
<td width="14%" align="center">2013-02-24</td>
        <td width="14%" align="center">2013-02-25</td>
        <td width="14%" align="center">2013-02-26</td>
        <td width="14%" align="center">2013-02-27</td>
        <td width="14%" align="center">2013-02-28</td>
        <td width="14%" align="center">2013-03-01</td>
        <td width="14%" align="center">2013-03-02</td>
        </tr>

要获取单元格内容，您可以使用：

(rdb:1) puts doc.search('table table tr[2] td').map(&:text)

注意它是如何返回两个表格的标题的。要将其限制在第一个表中，我们可以使用at 而不是search。 at 返回第一个匹配的节点，其中search 返回一个NodeSet，它就像一个数组。此外，search 会查看整个文档以查找所有匹配项，这与 at 的行为不同。

此代码查找第一个表的第二行，然后遍历嵌入的单元格：

(rdb:1) puts doc.at('table table tr[2]').search('td').map(&:text) 2013-02-24 2013-02-25 2013-02-26 2013-02-27 2013-02-28 2013-03-01 2013-03-02

它更简单，更容易理解和维护。

【讨论】：

“使用源代码，卢克！”尤其是像 HTML 这样被严重滥用的东西。