我可以同时使用 BeautifulSoup 和 Selenium 吗？答案

【问题标题】：Can I use BeautifulSoup and Selenium together at the same time?我可以同时使用 BeautifulSoup 和 Selenium 吗？
【发布时间】：2021-09-05 07:31:34
【问题描述】：

我正在网站上搜索有关产品的信息。我需要登录才能访问我有权访问的产品。成功登录并导航到产品详细信息页面后，Selenium 没有返回任何内容。过去一周我一直在尝试，但没有任何结果。

那么，我想知道是否可以尝试 BeautifulSoup 来获得我想要的文本？

可行吗？请推荐任何资源/阅读材料。

【问题讨论】：

标签： selenium web-scraping beautifulsoup

【解决方案1】：

非常好，你可以将它们两者结合起来美汤和硒

Selenium 用于自动化浏览器，这意味着 UI

Beautiful soup 是一个 HTML 解析器。

但是 Selenium 很强大，你应该可以继续使用 UI。

硒 - Official docs

BeautifulSoup - Official docs

【讨论】：

【解决方案2】：

当然，页面的 HTML 可以在 Selenium 中使用 .page_source 属性获得，您可以将 HTML 传递给 BeautifulSoup 来解析它。

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
driver.get(url)
...
soup = BeautifulSoup(driver.page_source, "html.parser")

【讨论】：