网页在 python 中抓取一个 text()

Question

我在使用网页抓取功能时遇到问题。我想要得到的两件事的 XPath 是

/html/body/div/table[2]/tbody/tr[5]/td[1]/div[1]/ul/li[1]/text()
/html/body/div/table[2]/tbody/tr[5]/td[1]/div[1]/ul/li[1]/a

html是

<li><a href="http://www.acu.edu/" target="_blank" class="institution">Abilene Christian University</a> (TX)</li>

我试图有一个函数来循环遍历 tr[5] 中的每个 li。我遇到的问题是获取文本（）。我已经尝试了这个函数的许多不同的变体

from lxml.html import parse
from urllib2 import urlopen
def _clean(lst):
    for elm in lst:
        lnk=elm.findall('.//a')
        for this in lnk:
            lnk_txt.append(this.text_content())
        state_txt.append(elm.findall('.//text()'))

此特定函数在“()”上返回 KeyError。如果我删除 ()，它会返回一个空元素列表。 lnk_txt 有效。

我想要得到的是两个列表。一是大学的名称。另一个是大学的位置。最终目标是制作元组（名称、状态）。

Answer 1

你需要找到a元素的following text sibling：

lnk.xpath("following-sibling::text()")

演示：

>>> import lxml.html
>>> data = '<li><a href="http://www.acu.edu/" target="_blank" class="institution">Abilene Christian University</a> (TX)</li>'
>>> li = lxml.html.fromstring(data)
>>> li.xpath("//a[@class='institution']/following-sibling::text()")[0].strip()
'(TX)'