通过 Selenium 抓取动态内容？

Question

我正在尝试通过 Selenium 从 Blog 中删除动态内容，但它总是返回未渲染的 JavaScript。

为了测试这种行为，我尝试等到 iframe 完全加载并打印它的内容，打印效果很好，但是当我再次移回父框架时，它只显示未渲染的 JavaScript。

我正在寻找能够打印完全呈现的 HTML 内容的东西

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions

driver = webdriver.Chrome("path to chrome driver")   
driver.get('http://justgivemechocolateandnobodygetshurt.blogspot.com/')

WebDriverWait(driver, 40).until(expected_conditions.frame_to_be_available_and_switch_to_it((By.ID, "navbar-iframe")))

# Rendered iframe HTML is printed.
content = driver.page_source
print content.encode("utf-8")

# When I switch back to parent frame it again prints non rendered JavaScript.
driver.switch_to.parent_frame()
content = driver.page_source
print content.encode("utf-8")

Answer 1

问题是 - the .page_source works only in the current context。有"current top-level browsing context" 表示法..意思是，如果您在默认内容上调用它-您将不会获得子iframeelements 的内部HTML-因为您必须切换到@987654328 的上下文@ 并致电.page_source。

换句话说，要获得非常完整的页面 HTML，包括 iframe 的页面源，您必须一一切换到 iframe 上下文并单独获取源。

另见：

• Command Contexts
• Switch To Frame

---

旧答案：

在获得page_source 之前，我会wait 至少加载一个博客条目：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 40)
wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, ".entry-content")))

print(driver.page_source)