无法使用 Python 获取预期的 html 元素详细信息

Question

我正在尝试使用 Python 抓取网站。我已经能够成功地抓取它，但是预期的结果并没有得到。我认为这与网页的 JavaScript 有关。

我的代码如下：

driver.get(
        "https://my website")

soup=BeautifulSoup(driver.page_source,'lxml')
all_text = soup.text
ct = all_text.replace('\n', ' ')
cl_text = ct.replace('\t', ' ')
cln_text_t = cl_text.replace('\r', ' ')
cln_text = re.sub(' +', ' ', cln_text_t)
print(cln_text)

它没有提供网站详细信息，而是提供了以下数据。知道我该如何解决这个问题吗？

html, body {height:100%;margin:0;} You have to enable javascript in your browser to use an application built with Vaadin.........

Answer 1

你为什么需要这个BeautifulSoup？它似乎不支持 JavaScript。

如果您需要获取网页文本，您可以使用 //html 的简单 XPath selector 获取 document root 并获取生成的 WebElement 的 innerText 属性

建议的代码更改：

driver.get(
        "my website")

root = driver.find_element_by_xpath("//html")

all_text = root.get_attribute("innerText")