Python 3.6：如何从动态页面获取内容？

【问题标题】：Python 3.6: How can I get the content from a dynamic page?Python 3.6：如何从动态页面获取内容？
【发布时间】：2018-02-11 19:34:18
【问题描述】：

我正在尝试使用此代码从该网页“http://www.fibalivestats.com/u/ACBS/333409/pbp.html”获取内容：

r = requests.get("http://www.fibalivestats.com/u/ACBS/333409/pbp.html")
if r.status_code != 200:
    print("Error!!!")

html = r.content
soup = BeautifulSoup(html, "html.parser")
print(soup)

我得到了页面的模板，但没有得到与每个标签关联的数据。

如何获取数据？我是 Python 新手。

【问题讨论】：

标签： python-3.x

【解决方案1】：

在这种情况下，您遇到的情况是 Javascript 没有被触发，因此它没有填充元素。这是因为没有“准备好”的 DOM 元素通常会触发 Javascript 操作。我建议您使用 Web 驱动程序，例如 Selenium，如 here 中所示。

它将模仿浏览器并执行 Javascript。下面是一个例子。

from selenium import webdriver
browser = webdriver.Firefox()
browser.get("http://www.fibalivestats.com/u/ACBS/333409/pbp.html")
html_source = browser.page_source
soup = BeautifulSoup(html_source, "html.parser")

【讨论】：