带有lxml的Xpath返回空字符串，硒工作正常

Question

我使用selenium 和find_element_by_xpath 从网页中提取一些文本。我已经设法在我的笔记本电脑上成功地完成了这项工作。但是，我需要在 Google Colab 中运行代码 所以我不能使用 selenium（Colab 中没有 Firefox 或 Chrome，我得到一个 geckodriver 错误，这是有道理的）。 lxml 看起来很有希望，我已经设法让它在几个值上起作用，但是 某些值不在提取的 html 中（奇怪），因此返回的字符串为空。

在其中一个 xpath 中删除“tbody”在一种情况下会有所帮助，根据这个 SO 答案：Python lxml - returns null list 但随后有几个单元格（如游戏日期）返回为空。

这适用于带有硒的笔记本电脑（来自 Firefox 的 XPATH）：

from selenium import webdriver

URL = 'https://www.soccer24.com/match/C4RB2hO0/#match-summary'

browser = webdriver.Firefox()
browser.get(URL)

Selenium_TeamA_working = browser.find_element_by_xpath('/html/body/div[1]/div[1]/div[2]/table/tbody/tr/td[2]/table/tbody/tr[1]/td[1]/span/a').text
print('Team A using selenium: ' + Selenium_TeamA_working)           

这种方法适用于 LXML，但对某些值返回 NULL（来自 Chrome 的 XPATH）

import requests
from lxml import html

pageContent=requests.get(URL)
tree = html.fromstring(pageContent.content)
print(pageContent.content) #just to check the html string

TeamA_broken = tree.xpath('//*[@id="flashscore_column"]/table/tbody/tr[1]/td[1]/span/a/text()') #get Team A: this does not work
print('Team A using lxml (empty): ' + TeamA_broken) #output []
TeamA_working = tree.xpath('//*[@id="flashscore_column"]/table/tr[1]/td[1]/span/a/text()') #get Team A: drop tbody and then it works
print('Team A using lxml (working): ' + TeamA_working) #output ['Hull']
Date_notworking = tree.xpath('//*[@id="utime"]/text()') #this does not work and the game date is empty in the html
print('Game date using lxml (empty): ' + Date_notworking) #output []

我可以让 lxml 来提供我所拥有的 selenium 吗？

Answer 1

那是因为在页面源 td 和 @id="utime" 中确实是空的。该值来自script 节点中声明的变量，它看起来像var game_utime = 1495375200;。并不是说这是纪元时间，它可以转换为人类日期和时间May 21, 2017 5:00:00 PM。

您可以使用正则表达式解析script节点并提取纪元时间，然后将其转换为所需的格式，如下所示

import time
import requests
from lxml import html
import re

pageContent = requests.get(URL).text

epoch_time =  re.search('var game_utime = (\d+);', pageContent).group(1)
date = time.strftime('%d-%m-%Y %H:%M', time.localtime(int(epoch_time)))
print(date)
#  21-05-2017 17:00