使用 BS4 从隐藏的 html（弹出）中获取数据答案

【问题标题】：Getting data from hidden html (popup) using BS4使用 BS4 从隐藏的 html（弹出）中获取数据
【发布时间】：2018-07-17 13:05:11
【问题描述】：

我正在尝试在维基百科的弹出窗口中抓取链接的名称。因此，当您在维基百科中悬停一个链接时，它会从该链接的介绍中调出一点 sn-p。我需要抓取这些信息，但我不确定它在源中的位置。当我检查元素时（当它弹出时）这是 html（对于这个例子，我将鼠标悬停在链接“希腊语”上）

<a dir="ltr" lang="en" class="mwe-popups-extract" href="/wiki/Ancient_Greek"> 
<p>The <b>Ancient Greek</b> language includes the forms of Greek...(a bunch more text)...</p></a>

我需要提取的是 href which = "/wiki/Ancient_Greek" 但是当我不悬停链接时，这段 html 会消失。有没有办法（使用 BS4 和 python）用我正在抓取的源 html 提取这些信息？

编辑：我无法对网页进行额外调用，因为该项目需要很长时间才能运行。如果无论如何要更改我检索源的方式，以便我可以获得有用的弹出信息。这个项目是巨大的，获得这个弹出信息是至关重要的。

非常感谢任何不需要完全重建项目的建议——我正在使用 urllib 来提取源代码（带有请求）和 bs4 来抓取。

【问题讨论】：

到目前为止你尝试过什么？你能发布你的代码吗？
你不能用 urllib 做到这一点。您需要一个能够执行 javascript（即加载弹出窗口）的 Web 驱动程序，因为在加载弹出窗口之前数据根本不存在于客户端。如果你使用 splinter，你可以 run it with the chrome web driver 这将非常快，并且不会真正打开网络浏览器窗口。
@jstein123 for splinter，与 bs4 相比如何。我的整个平台都使用 bs4 进行抓取。（让我们知道这个平台有超过 35,000 行代码，如果涉及重建，简单的切换并不容易）
你会使用像 urllib 这样的 splinter（即实际抓取数据）。 bs4 用于从已经抓取的数据中提取信息，因此一旦从带有 splinter 的弹出窗口中获取数据，您仍然会使用 bs4。从 splinter 返回的数据将是原始 html，就像 urllib 一样。
一旦您使用 splinter 将鼠标悬停在弹出窗口上以将其弹出，您只需执行 browser.html 即可获取页面的 html，然后使用 bs4 查找并提取弹出 html。跨度>

标签： python beautifulsoup

【解决方案1】：

在您的问题中，您说您“……不能对网页进行额外的调用……”但这就是您的浏览器在幕后所做的事情。您正在查看的页面的 html 不包含您需要的内容。

为了证明这一点：

在您的浏览器中，打开一个维基百科页面，例如Greek。
调出开发者工具窗口（在 Chrome 中为 Ctrl+Shift+i）。
单击“网络”选项卡并确保红色按钮亮起，以便记录所有 Web 请求。
将鼠标悬停在页面中的链接上，例如Ancient Greek。

您将看到将鼠标悬停在链接上的行为会触发对 Ancient_Greek summary page 的 GET 请求。
点击网络标签日志中的“Ancient_Greek”以显示请求的详细信息。
单击右侧的响应选项卡。

您应该会看到包含名为“extract_html”的字段的 JSON 响应，其中包含您需要的内容："<p>The <b>Ancient Greek</b> language includes the forms...

因此，为了获取您需要的信息，每次遇到指向<a href="/wiki/something" /a> 的链接时，您都必须向https://en.wikipedia.org/api/rest_v1/page/summary/something 发出GET 请求

【讨论】：

哇，这是最接近没有添加代码的最接近的事情，只是更多的数据查询。

【解决方案2】：

对于仅通过 javascript 动态显示的弹出窗口和其他数据，您不能只使用 urllib 之类的东西来抓取数据。

您可以使用像splinter 或selenium 这样的浏览器控制器，它可以让您自动将鼠标悬停在或单击某些东西以显示弹出窗口，然后提取其数据。拿到弹窗html后，可以用BS4清理一下。

例如：

from splinter import Browser
browser = Browser()
browser.visit("http://google.com")
button = browser.find_by_name('button1')
button.click()

【讨论】：

【解决方案3】：

您可以为此使用 Selenium

这里有一个简单的演示，介绍如何通过名称定位 html 文本输入：

<form>
  <input type="text" name="username">
  <input type="text" name="password">
</form>

这是使用 selenium 驱动程序的 python 代码：

import org.openqa.selenium.By; 
import org.openqa.selenium.WebElement; 
WebElement usernameElement = driver.findElement(By.name("username")); 
WebElement passwordElement = driver.findElement(By.name("password"));

【讨论】：