python动态网页抓取javascript内容

Question

我正在使用 Python 和 Selenium 来抓取网站。我要做的是转到homepage，输入关键字，例如1300746-79-5。在resulting page 上，我试图在“定价”部分中抓取数据。具体来说，我需要获取“SKU-Pack Size”和“Price(USD)”信息。但是这些信息是 Javascript 加密的，所以我在源代码中看不到它们。我想知道如何实现这一目标。

我编写了一些代码让我进入感兴趣的页面，但我仍然看不到 javascript 信息。这是我目前所拥有的。

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pprint

# Create a new instance of the Firefox driver
driver = webdriver.Chrome('C:\Users\Rei\Desktop\chromedriver.exe')
driver.get("http://www.sigmaaldrich.com/united-states.html")

print driver.title
inputElement = driver.find_element_by_name("Query")

# type in the search
inputElement.send_keys("1300746-79-5")
inputElement.submit()

Answer 1

你所做的一切在我看来都是正确的。

“SKU-Pack Size”和“Price(USD)”信息未“加密”，而是在 JavaScript 点击操作后检索。您只需点击产品名称或定价链接即可。

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pprint

driver = webdriver.Chrome()
driver.get("http://www.sigmaaldrich.com/united-states.html")

print driver.title
inputElement = driver.find_element_by_name("Query")

# type in the search
inputElement.send_keys("1300746-79-5")
inputElement.submit()

pricing_link = driver.find_element_by_css_selector("li.priceValue a")
print pricing_link.text
pricing_link.click()

# then deal with the data you want
price_table = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, ".priceAvailContainer tbody"))
)
print 'price_table.text: ' + price_table.text

driver.quit()