在检索其内容之前执行页面脚本

Question

我有一个页面需要自动执行一些任务并抓取一些数据，但是页面在加载后会运行一些 JS 以将一些数据注入 DOM；我无法拦截（无论如何都不是很好的格式），我希望找到一个快速且不消耗内存的解决方案。

我尝试自己获取脚本并使用一些无头驱动程序（即 phantomJs）执行它们，但它没有更新页面源，我不确定如何从中检索更新的 DOM

var page = GetWebPage(url);
var scripts = page.Html.QuerySelectorAll("script");

var phantomDriver = new PhantomJSDriver(PhantomJSDriverService.CreateDefaultService(Directory.GetCurrentDirectory()));
phantomDriver.Navigate().GoToUrl(url);

foreach (var script in scripts)
    phantomDriver.ExecuteScript(script.InnerText);

var at = phantomDriver.PageSource;

Answer 1

您可以使用“等待”。根据this link，Selenium 既有隐式等待，也有显式等待。下面的示例使用了显式等待。

要使用显式等待，请使用 WebDriverWait 和 ExpectedConditions。我不确定您使用的是什么语言，但这里有一个 python 示例。这在 try-catch 块中使用WebDriverWait，允许timeout 秒满足指定的ExpectedConditions。截至 2019 年 6 月，条件适用于：

• Java;
• Python;和
• .NET

python中的示例代码：

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait

url = 'https://stackoverflow.com/questions/56724178/executing-page-scripts-before-retrieving-its-contents'
target = (By.XPATH, "//div[@class='gravatar-wrapper-32']")
timeout = 20  # Allow max 20 seconds to find the target

browser = webdriver.Chrome()
browser.get(url)
try:
    WebDriverWait(browser, timeout).until(EC.visibility_of_element_located(target))
except TimeoutException:
    print("Timed out waiting for page to load")
    browser.quit()

重要的一点在try 和except 之间，您可以修改它以使用您感兴趣的特定“预期条件”。