使用 Python，BeautifulSoup 进行动态数据网页抓取答案

【问题标题】：Dynamic Data Web Scraping with Python, BeautifulSoup使用 Python，BeautifulSoup 进行动态数据网页抓取
【发布时间】：2019-01-29 18:21:42
【问题描述】：

我正在尝试从 HTML 中为许多页面提取此数据（数字）。每个页面的数据都不同。当我尝试使用 soup.select('span[class="pull-right"]') 它应该给我数字，但只有标签来了。我相信这是因为网页中使用了 Javascript。 180,476 是我想要用于许多页面的特定 HTML 中的数据位置：

<div class="legend-block--body">
        <div class="linear-legend--counts">
          Pageviews:
          <span class="pull-right">
            180,476
          </span>
        </div>
        <div class="linear-legend--counts">
          Daily average:
          <span class="pull-right">
            8,594
          </span>
        </div></div>

我的代码（这是在一个循环中适用于许多页面）：

res = requests.get(wiki_page, timeout =None)
soup = bs4.BeautifulSoup(res.text, 'html.parser')
ab=soup.select('span[class="pull-right"]')
print(ab)

输出：

[<span class="pull-right">\n<label class="logarithmic-scale">\n<input 
class="logarithmic-scale-option" type="checkbox"/>\n        Logarithmic scale      
</label>\n</span>, <span class="pull-right">\n<label class="begin-at- 
zero">\n<input class="begin-at-zero-option" type="checkbox"/>\n        Begin at 
zero      </label>\n</span>, <span class="pull-right">\n<label class="show- 
labels">\n<input class="show-labels-option" type="checkbox"/>\n        Show 
values      </label>\n</span>]

示例网址：https://tools.wmflabs.org/pageviews/?project=en.wikipedia.org&platform=all-access&agent=user&range=latest-20&pages=Star_Wars:_The_Last_Jedi

我想要浏览量

【问题讨论】：

您可能需要selenium 来提取该值
哇....有什么区别？ .stackoverflow.com/questions/51982930/…

标签： javascript python html web-scraping beautifulsoup

【解决方案1】：

如果您使用 requests.get 检索页面，javascript 代码将不会被执行。所以要用硒代替。它将模仿用户在浏览器中打开页面的行为，因此将执行js代码。

要从 selenium 开始，您需要使用 pip install selenium 进行安装。然后在下面检索您的项目使用代码：

from selenium import webdriver

browser = webdriver.Firefox()
# List of the page url and selector of element to retrieve.
wiki_pages = [("https://tools.wmflabs.org/pageviews/?project=en.wikipedia.org&platform=all-access&agent=user&range=latest-20&pages=Star_Wars:_The_Last_Jedi",
               ".summary-column--container .legend-block--pageviews .linear-legend--counts:first-child span.pull-right"),]
for wiki_page in wiki_pages:
    url = wiki_page[0]
    selector = wiki_page[1]
    browser.get(wiki_page)
    page_views_count = browser.find_element_by_css_selector(selector)
    print page_views_count.text
browser.quit()

注意：如果您需要运行无头浏览器，请考虑使用 PyVirtualDisplay（Xvfb 的包装器）运行无头 WebDriver 测试，请参阅“How do I run Selenium in Xvfb?”了解更多信息。

【讨论】：

我认为选择器不正确，因为它说找不到位置
我明白了。我肯定在正确的轨道上。但是上面的 .find_element_by_css_selector(selector) 和我其他不同的搜索试验总是给出：您必须先加载页面，所以只需添加以下两行： browser.maximize_window() browser.implicitly_wait(20)

【解决方案2】：

您应该尝试使用 python 插件 selenium。它要求您为所使用的任何浏览器下载驱动程序。然后，您将能够使用 selenium 从 html 中提取值

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get("https://tools.wmflabs.org/pageviews/?project=en.wikipedia.org&platform=all-access&agent=user&range=latest-20&pages=Star_Wars:_The_Last_Jedi")
element = driver.find_element_by_class_name("pull-right")
// or the following below 
//element = driver.find_element_by_name("q")
//element = driver.find_element_by_id("html ID name")
//element = driver.find_element_by_name("html element name")
//element = driver.find_element_by_xpath("//input[@id='passwd-id']")
print(element)
driver.close()

【讨论】：