使用 selenium 和 python 来提取 javascript 生成的 HTML？萤火虫？答案

【问题标题】：Using selenium with python to extract javascript-generated HTML? Firebug?使用 selenium 和 python 来提取 javascript 生成的 HTML？萤火虫？
【发布时间】：2013-03-15 10:34:47
【问题描述】：

这里是 Python 新手。

我遇到的是数据收集问题。我在这个网站上，当我使用 Firebug 检查我想要的元素时，它会显示包含我需要的信息的源。但是，常规源代码（没有 Firebug）没有给我这个信息。这意味着我也无法通过普通的 selenium HTML 抓取来获取数据。

我想知道 selenium 是否有一种方法可以像 Firebug 那样获取这些数据——我猜这是在使用 javascript 或 jquery 加载页面后生成的 HTML。

这是一张图片： http://i.imgur.com/CXLOHYx.png

您可以看到我想要的信息是“灰色的”，这与那里的大多数其他 HTML 不同。也许这是一个很好的线索，可以了解真正的数据类型。

【问题讨论】：

标签： python selenium firebug web-scraping selenium-webdriver

【解决方案1】：

尝试使用以下代码，看看是否有效。

import selenium.webdriver.support.ui

element = WebDriverWait(driver, 10).until(
        lambda driver : driver.find_element_by_xpath("fImageMap > area:nth-child(2)")
)

【讨论】：

是python的吗？它告诉我 WebDriverWait 没有定义。我有 'import selenium' 和 'from selenium import webdriver'
我认为您应该阅读以下问题的答案，它可能会帮助您解决问题。 stackoverflow.com/questions/8917785/python-webdriver-wait
它说 webdriverwait 没有定义，即使导入 :( 顺便说一下，你的字符串 arg 中缺少双引号
很抱歉，我的 selenium 测试经验是用 Java 而不是 python。我会在这个周末的某个时间尝试在 selenium 中正确设置它，如果我成功了，我会发布我的代码。